Proxmox 8 : Clusternode hat graues Ausrufezeichen

Manchmal kann es vorkommen das unter Proxmox ein Node nur ein graues Ausrufezeichen zeigt. Das ist meistens auf einen Fehler mit dem Storage zurückzuführen. In meinem Fall hatte ich testweise den Proxmox Backup Server virtualisiert, das Storage kann dann beim booten nicht verbunden werden und sorgt für einen Fehler, daraus resultiert das graue Ausrufezeichen.

Ein Neustart des Dienstes pvestatd auf dem betroffenen Node hat den Fehler behoben und der Node wurde grün ;-)

systemctl restart pvestatd.service

[ PROXMOX ] - Debian 11 schlechte Performance beim SSH Login

Ich habe festgestellt das wenn man einen LXC mit Debian 11 auf einem Proxmox laufen lässt, die Performance auf ssh ziemlich schlecht ist. Auch sudo dauert ziemlich lange (wenn man es verwendet)

Das liegt am Service systemd-logind wenn man diesen deaktiviert hat man wieder die gewohnte Performance.

Um zu verifizieren ob es an diesem Service liegt , grept einfach mal nach 'org.freedesktop.login1' in der Datei /var/log/auth.log
grep 'org.freedesktop.login1' /var/log/auth.log
wenn ihr dort Einträge findet, die wie folgt aussehen, liegt es vermutlich an diesem Dienst.
Failed to activate service 'org.freedesktop.login1': timed out (service_start_timeout=25000ms)
Problem wird dann mit diesen Befehl behoben (muss als root ausgeführt werden)
systemctl mask systemd-logind && pam-auth-update

Proxmox : LXC Unprivileged konvertieren zu Privileged

Ich setzte zuhause Proxmox ein und lasse alles auf LXC laufen, da es einiges an Overhead spart.
Normalerweise läuft ein LXC als "Unprivileged container" in machen Fällen kann es jedoch vorkommen das ein LXC als "Privileged container" laufen muss. Ein konvertieren des LXC ist nur über einen kleinen Umweg möglich.

Das einfachste Vorgehen :

1.) Stoppen des LXCs (in meinen Fall 102)
2.) einen Snapshot des LXC erstellen
2.) Diesen Snapshot dann als neue Maschine (hier 103) restoren und den Parameter für unprivileged auf 0 setzen
pct restore 103 /var/lib/vz/dump/vzdump-lxc-102-2021_11_18-22_49_58.tar.zst -ignore-unpack-errors 1 -unprivileged 0 --storage ZFS-DATA

3.) Starten des LXC

Dieses Vorgehen sollte aber nur verwendet werden wenn es GAR NICHT anders geht ;-)

Privileged containers: container uid 0 is mapped to the host's uid 0.
Unprivileged containers: container uid 0 is mapped to an unprivileged user on the host.

das bedeutet bei einem Privileged containers ist der user root im container auch der root user auf dem proxmox host

Proxmox : https://www.proxmox.com/de/
LXC : https://de.wikipedia.org/wiki/LXC

Proxmox / Qemu konvertieren einer HDD

Unser Azubi hat hier zum spielen ein Proxmox aufgebaut. Den Server den er hier installiert hatte muss ich jetzt in unsere VM-Ware Umgebung übernehmen. Da ich jetzt den Weg Proxmox -> VMware benötige konvertiere ich das alles mit qemu-img in das vmdk Format.

1.) Schauen wir uns die Konfiguration der VM an.
cat /etc/pve/nodes/xxx/qemu-server/100.conf 

bootdisk: scsi0
cores: 2
ide2: local:iso/14393.0.161119-1705.RS1_REFRESH_SERVER_EVAL_X64FRE_DE-
DE.ISO,media=cdrom
memory: 12288
name: servername.home.box
net0: e1000=1A:AF:17:D8:B0:44,bridge=vmbr0,firewall=1
numa: 0
ostype: l26
sata0: local-lvm:vm-100-disk-0,size=80G
sata1: zfs-storage:vm-100-disk-0,size=800G
scsihw: virtio-scsi-pci
smbios1: uuid=5c3fa82f-83a6-4206-92e7-34ac8fa38100
sockets: 1
vmgenid: c399e3ee-37c9-4b48-bb3b-585905633f84
BEVOR man an den HDDs rumspielt ein Backup erstellen !

2.) jetzt schauen wir uns mal an was so an Platten rumliegt und suchen uns die richtige raus
pvesm list local-lvm

local-lvm:vm-100-disk-0   raw 85899345920 100
local-lvm:vm-101-disk-0   raw 17179869184 101
local-lvm:vm-102-disk-0   raw 12884901888 102
local-lvm:vm-103-disk-0   raw 34359738368 103
local-lvm:vm-104-disk-0   raw 34359738368 104
wir brauchen hier die vm-100-disk-0 dafür lesen wir jetzt mal den Speicherort aus.
pvesm path local-lvm:vm-100-disk-0

/dev/pve/vm-100-disk-0
mit folgenden Befehl konvertiere ich die erste hdd in vmdk
qemu-img convert -f raw -O vmdk /dev/pve/vm-100-disk-0 ~/root_c.vmdk

3.) jetzt machen wir das selbe für die 2. hdd die liegt allerdings im zfs-storage ab
pvesm list zfs-storage

zfs-storage:vm-100-disk-0   raw 858993459200 100

4.) Naja ich hab keinen Bock 800G zu konvertieren deswegen shrink ich das Teil einfach mal ein wenig.

Wenn ihr die HDD zu weit verkleinert sind alle Daten verschwunden ! ZUERST PRÜFEN WIEVIEL GB an DATEN auf der HDD liegt !!


4.1.) Erstmal müsste ihr im installierten System sicherstellen wieviele GB ihr braucht
4.2.) Dann im System die Partition verkleinern (bei mir waren das 40G)
4.3.) Nun kann man die HDD auf die gewünscht Größe shrinken ich hab mich für 50G entschieden.
zfs set volsize=50G zfs-storage/vm-100-disk-0
nachdem das durchgelaufen ist muss der Eintrag in der Konfigurationsdatei noch angepasst werden.
aus sata1: zfs-storage:vm-100-disk-0,size=800G wird sata1: zfs-storage:vm-100-disk-0,size=50G

5.) wir lesen wieder den Speicherort aus
pvesm path zfs-storage:vm-100-disk-0

/dev/zvol/servername/vm-100-disk-0

6.) und konvertieren wieder
qemu-img convert -f raw -O vmdk /dev/zvol/servername/vm-100-disk-0 ~/hdd_d.vmdk

7.) naja ich konvertiere das nochmal über die vmkfstools
vmkfstools -i root_c.vmdk system.vmdk -d thin -a buslogic
Destination disk format: VMFS thin-provisioned
Cloning disk 'root_c.vmdk'...
Clone: 52% done.

vmkfstools -i hdd_d.vmdk data.vmdk -d thin -a buslogic
Destination disk format: VMFS thin-provisioned
Cloning disk 'hdd_d.vmdk'...
Clone: 36% done.

Quellen :
https://forum.proxmox.com/threads/shrink-zfs-disk.45835/
https://kb.vmware.com/s/article/1028042

Terraform & cloud-init & vmware

Automatisiertes Deployment von virtuellen Maschinen in eine VMWare Umgebung mit Hilfe von Terraform und cloud-init.

als wird ein Terraform Konfiguration benötigt. Ich habe das alles in 3 Dateien aufgeteilt.
  • main.tf
  • terraform.tfvars
  • variables.tf
zuerst erstellen wir die Datei variables.tf um warm zu werden ;-)
variable "vsphere_server" {}
variable "vsphere_user" {}
variable "vsphere_password" {}
variable "vsphere_name" {}
variable "vsphere_dom" {}
variable "vsphere_datacenter" {}
variable "vsphere_datacenter_folder" {}
variable "vsphere_datastore" {}
variable "vsphere_resource_pool" {}
variable "vsphere_network" {}
variable "vsphere_template" {}
variable "vsphere_guest_id" {}
dann setzen wir die Variablen in der neuen Datei terraform.tfvars
# define the vsphere server
vsphere_server = "dev-vm-test-cl-01.demo.local"
# the username to access (use \\ instead \)
vsphere_user = "vsphere.local\\dev"
# password for the user
vsphere_password = "..................."
# name of the guest system
vsphere_name = "demo-vm"
# domain name 
vsphere_dom = ".demo.local"
# datacenter in vmware
vsphere_datacenter = "demo-dc"
# if you use folders define here
vsphere_datacenter_folder = "DEMO"
# datastore to store the machine
vsphere_datastore = "DEMOSAN"
# resource pool 
vsphere_resource_pool = "DEMO"
# the name of the network who the machine should use
vsphere_network = "DEMO-NETZ"
# which template should terraform use to build the machine ?
vsphere_template = "CENTOS-7-DEMO"
# define the guest id
vsphere_guest_id = "centos7_64Guest"
um das deploment durchzuführen benötigen wir noch einen user für die Anmeldung am Gast den wir in der main.tf definieren können hierzu erstellen wir uns erstmal den passwort hash. Ich hab hier mal einfach TEST genommen für ein produktives Deployment nicht zu empfehlen !
python3 -c 'import crypt,getpass; print(crypt.crypt(getpass.getpass(), crypt.mksalt(crypt.METHOD_SHA512)))'
Password:
xxxxxxxxxxxxxxxxxxxxx1Q0T3BfTTFcA.T7byqXbNyyyyyyyyyyyyyyyyyyy
jetzt kümmern wir uns um die main.tf die das eigentliche deployment übernimmt. Die user-data und meta-data werden der Maschine direkt als Template mitgegeben, für mehr Informationen zu cloud-init könnt ihr hier die Doku lesen.
provider "vsphere" {
        vsphere_server = "${var.vsphere_server}"
        user = "${var.vsphere_user}"
        password = "${var.vsphere_password}"
        allow_unverified_ssl= true
}

data "vsphere_datacenter" "dc" {
         name = "${var.vsphere_datacenter}"
}

data "vsphere_datastore" "datastore" {
        name = "${var.vsphere_datastore}"
        datacenter_id = "${data.vsphere_datacenter.dc.id}"
}

data "vsphere_resource_pool" "pool" {
  name          = "${var.vsphere_resource_pool}"
  datacenter_id = "${data.vsphere_datacenter.dc.id}"
}

data "vsphere_network" "network" {
  name          = "${var.vsphere_network}"
  datacenter_id = "${data.vsphere_datacenter.dc.id}"
}

data "vsphere_virtual_machine" "template" {
  name          = "${var.vsphere_template}"
  datacenter_id = "${data.vsphere_datacenter.dc.id}"
}

data "template_file" "meta_init" {
        template = <<EOF
{
        "local-hostname": "$${local_hostname}"
}
EOF

vars = {
        local_hostname = "${var.vsphere_name}${var.vsphere_dom}"
}
}

data "template_file" "cloud_init" {
        template = <<EOF
#cloud-config
# set hostname & keyboard layout
bootcmd:
  - [ sh, -c, "echo 'DEPLOY-DATE-TIME - $${deploy_date}' > /cloud-init-info.txt"]
  - [ localectl, set-keymap, de ]
  - [ hostnamectl, set-hostname, $${hostname} ]
  - [ setenforce, 0 ]
  - [ sed, -i, 's/enforcing/disabled/g', /etc/selinux/config ]
growpart:
  mode: auto
  devices: ['/']
  ignore_growroot_disabled: false
users:
  - name: demo
    groups: wheel
    lock_passwd: false
    passwd: xxxxxxxxxxxxxxxxxxxxx1Q0T3BfTTFcA.T7byqXbNyyyyyyyyyyyyyyyyyyy
    shell: /bin/bash
    sudo: ['ALL=(ALL) NOPASSWD:ALL']
    ssh-authorized-keys:
      - ssh-rsa AAAAB................. DEPLOY@HOST
# set root password 
chpasswd:
  list: |
     root:xxxxxxxxxxxxxxxx4IlB$pLkby1WsExxxxxxxxxxxxxxxx
EOF
        vars = {
                hostname = "${var.vsphere_name}${var.vsphere_dom}"
                deploy_date = formatdate ("DD'.'MM'.'YYYY hh:mm ZZZ",timestamp())
        }
}

resource "vsphere_virtual_machine" "vm" {
  name             = "${var.vsphere_name}${var.vsphere_dom}"
  resource_pool_id = "${data.vsphere_resource_pool.pool.id}"
  datastore_id     = "${data.vsphere_datastore.datastore.id}"
  folder           = "${var.vsphere_datacenter_folder}"
  num_cpus = 4
  memory   = 8096
  guest_id = "${var.vsphere_guest_id}"

  network_interface {
    network_id = "${data.vsphere_network.network.id}"
  }

  disk {
    label = "disk0"
    size  = 150
  }

  clone {
    template_uuid = "${data.vsphere_virtual_machine.template.id}"
  }

  extra_config = {
        "guestinfo.metadata" = "${base64gzip(data.template_file.meta_init.rendered)}"
        "guestinfo.metadata.encoding" = "gzip+base64"
        "guestinfo.userdata" = "${base64gzip(data.template_file.cloud_init.rendered)}"
        "guestinfo.userdata.encoding" = "gzip+base64"
        }
}
Terrafom & cloud-init wäre dann fertig , jetzt müssen wir uns noch ein Image bauen. Ich habe dafür das CentOS-7-x86_64-GenericCloud.qcow2 Image von CentOs heruntergeladen. Und wie hier beschrieben konvertiert. Für die Anpassung des Templates musste ich mir eine extra cloud-config schreiben die nur eins macht, einen Benutzer mit login anlegen ;-) Dazu habe ich mir unter Ubuntu das Packet cloud-utils installiert. Dann erstellst du eine Datei config.yaml mit diesem Inhalt.
#cloud-init
users:
  - name: image
    groups: wheel
    lock_passwd: false
    passwd: $6$..............................zVjyZr4fj1
    shell: /bin/bash
    sudo: ['ALL=(ALL) NOPASSWD:ALL']
    ssh-authorized-keys:
      - DEIN SSH KEY
dann bauen wir daraus ein ISO File
cloud-localds config.iso config.yaml
Jetzt muss die konvertierte vmdk auf den Datastore hochgeladen werden. Dann eine neue Maschine anlegen und als Festplatte die vorhandene vmdk Datei auswählen, in das CDROM die hochgeladene iso Datei einlegen und verbinden (auch beim einschalten). Beim Bootvorgang sieht cloud-init die cd und erkennt die user-data darauf. Es wird ein User angelegt der zuvor definiert wurde. Ich lasse das ISO auf dem Datastore für kommende Images die ich erstellen muss. Wir ihr das Passwort erstellt habe ich ja bereits weiter oben erklärt.Nach dem erstellen der VM anmelden und dann installieren wir im system noch open-vm-tools und cloud-init-vmware-guestinfo
yum install open-vm-tools
Jetzt machen wir die Kiste noch sauber das man ein sauberes Image ziehen kann. Das ist bereits hier schön erklärt. Wenn du damit fertig bist die virtuelle Maschine ausschalten und in ein Template klonen, am besten nimmst du als Namen für das Template CENTOS-7-DEMO. Jetzt sollte wenn du bootest ein neuer Benutzer angelegt werden mit dem Namen und dem Passwort TEST. selinux sollte ausgeschaltet sein usw....

Quellen :
https://stafwag.github.io/blog/blog/2019/03/03/howto-use-centos-cloud-images-with-cloud-init/
https://superuser.com/questions/1307260/convert-qcow2-image-to-vsphere-vmdk
https://stackoverflow.com/questions/37794846/convert-qcow2-to-vmdk-and-make-it-esxi-6-0-compatible
https://github.com/vmware/cloud-init-vmware-guestinfo
https://github.com/vmware/simple-k8s-test-env/tree/master/e2e
https://blah.cloud/infrastructure/using-cloud-init-for-vm-templating-on-vsphere/
https://community.spiceworks.com/how_to/151558-create-a-rhel-centos-6-7-template-for-vmware-vsphere
https://cloudinit.readthedocs.io/en/latest/

VMWare: Windows Server Installation von Fujitsu ROK Lizenz auf VMWare 6

Problem:
Ich habe versucht meine Windows 2012 R2 Standard ROK Lizenz unter VMware 6 zu installieren. Dabei bin ich gleich am Anfang auf eine Meldung gestoßen, dass diese Version nur mit Fujitsu Servern funktioniert:

"This installer is designed to load only in virtual environments supported by Fujitsu and/or the virtual maschine provider."



Da meine ESX-Host Fujitsu-Server sind, habe ich nach einer Möglichkeit gesucht, die BIOS-Informationen in die VM durchzureichen.
Der Eintrag SMBIOS.reflectHost = "TRUE" hat nichts gebracht.

Lösung:
Das Problem ist, dass man bei VMware 6 bzw. System ab Server 2008R2 noch zwei zusätzliche Parameter in der VM eingeben muss. Ich habe folgende Parameter in die VM-Einstellungen konfiguriert und konnte damit meine ROK erfolgreich installieren und aktivieren:
SMBIOS.reflectHost = "TRUE"
SMBIOS.noOEMStrings = "TRUE"
smbios.addHostVendor = "TRUE"

Die Parameter trägt man nicht direkt in die vmx-Dateien ein, sondern kann diese ganz einfach in den Einstellungen der VM eintragen. Dazu folgende Anleitung:
1. VM-Einstellungen bearbeiten
2. Reiter "VM-Optionen" auswählen
3. Erweitert auswählen
4. Button "Konfiguration bearbeiten"
5. Hier die drei zusätzlichen Parameter hinzufügen
6. Alles mit OK bestätigen
7. Maschine starten und ROK-Lizenz installieren

Quelle: VMs mit ROK Key installieren
“Das einzig sichere System müsste ausgeschaltet, in einem versiegelten und von Stahlbeton ummantelten Raum und von bewaffneten Schutztruppen umstellt sein.”
Gene Spafford (Sicherheitsexperte)