Cluster und Hochverfügbarkeit mit 3 Knoten

Dieser Aufgaben werden wir praktisch auf 3 gleichen oder mit fast gleichen Servern realisieren. Im ersten Moment hört sich das kompliziert an, aber mit Proxmox VE ist das ein Kinderspiel. Sie werden erstaunt sein, wie schnell man ein Cluster und dann auch Hochverfügbarkeit aufsetzen kann.
Wir werden hier zwei Möglichkeiten in Betracht ziehen.

Es wird ein Cluster aufgesetzt und wir nutzen verfügbaren Festplattenspeicher im Netz
Es wird ein Cluster aufgesetzt und dazu erstellen wir noch ein GlusterFS (ein verteiltes Dateisystem) von dem Festplattenspeicher der 3 Servern.

Es werden 3 physische Server mit entsprechend viel RAM und mehreren CPU Kernen gebraucht. Auf jedem Server wird Proxmox VE installiert.

Netz und die Namen der Server

Netz: 172.16.0.0/22
Domäne: mono.plan
Gateway: 172.16.0.1
DNS: 8.8.8.8 oder andere DNS Server

pve1      IP-Adresse: 172.16.0.101
pve2      IP-Adresse: 172.16.0.102
pve3      IP-Adresse: 172.16.0.103

Nach der Installation haben wir 3 Server, auf denen Proxmox VE installiert ist. Danach können wir im Browser auf dem Client die WEB Interfaces starten und sich anmelden.
https://172.16.0.101:8006

Die WEB Interfaces von dem zweiten Proxmox VE Server.
https://172.16.0.102:8006

Die WEB Interfaces von dem dritten Proxmox VE Server.
https://172.16.0.103:8006

Die Namen der Server sollten in DNS eingetragen werden. Zur Sicherheit, im Falle, wenn der DNS-Server ausfallen sollte, trage ich auch die Namen der Server auf allen 3 Servern in der /etc/hosts Datei.

172.16.0.101 pve1.mono.plan pve1
172.16.0.102 pve2.mono.plan pve2
172.16.0.103 pve3.mono.plan pve3

Wir definieren jetzt auf einem von den drei Proxmox VE einen Cluster. Der Name des Clusters, z.B. myClusterMBS. Wir können auch jeden anderen Namen nehmen. Es wird Links auf Datacenter geklickt, dann auf Cluster und auf Create Cluster.

Es wurde ein Cluster erstellt. Zuerst befindet sich ein physischer Server im Cluster, in unserem Fall ist das der pve1. Um weitere Proxmox VE Server zu dem Cluster zufügen, klicken wir auf Join Infomation und kopieren die Informationen.

Mit einem Klick auf Copy Information werden alle benötigte Informationen für den Join weiter Maschinen benötigt. Die Informationen befinden sich in Zwischenspeicher.

Wir wechseln zu dem zweiten Proxmox VE Server https://172.16.0.102:8006 und klicken auf Join Cluster. In dem geöffneten Fenster, können wir in dem Eingabefeld mit STRG+V die Informationen einfügen. Danach müssen wir noch das Root-Passwort eintragen und den Join bestätigen,

Wir warten eine Weile und aktualisieren dann die Web-Seite. Es kommt das Anmeldefenster und nach dem Anmelden sehen wir schon die Änderungen in auf der Oberfläche.

Wir wechseln zu dem dritten Proxmox VE Server https://172.16.0.103:8006 und klicken auf Join Cluster. In dem geöffneten Fenster können wir in dem Eingabefeld mit STRG+V die Informationen einfügen. Danach müssen wir noch das Root-Passwort eintragen und den Join bestätigen,

Auf diese Weise befinden sich alle 3 Server im Cluster.

Jetzt haben wir ein Cluster bestehend aus drei physischen Servern. Was bedeutet das? Wir können auf einem von den 3 Servern eine VM erstellen und wir sind in Lage die VM auf einen anderen Server verschieben. Damit das auch praktisch gut funktioniert, sollten wir einer Regel beachten.

Für die Festplatten der VMs wird ein Netzspeicher genutzt, wie z.B. NFS, SMB/CIFS, GlusterFS, iSCSI, CephFS, RDB, ZFS overiSCSI oder DRBD. Es wird auch empfohlen, den Festplatten-Speicher hochverfügbar zu machen.
Bei Ausfall eines physischen Servers sollte genügend RAM auf den zwei andere Server zur Verfügung zu stehen, um alle VMs auf den zwei funktionierenden betreiben zu können.

Zum Testzwecken nehmen wir hier SMB/CIFS Freigabe.

Die definierte Storage ID sieht man unter jedem Proxmox VE Server, das bedeutet, dass von jedem Knoten möglich ist auf die Storage ID zuzugreifen.

Jetzt können wir die erste VM erstellen. Die Festplatte der VM sollte auf SambaVM liegen. Nach der Installation nutzen wir CD/DVD Drive ohne Media. Das ist wichtig beim Verschieben der VM auf anderen Knoten, z.B. auf pve3

Nach Bedarf können wir die VM im laufenden Betrieb auf einen anderen Knoten (Node) verschieben. Klicken Sie mit der rechten Maustaste auf die VM und wählen Sie den Menüpunkt Migrate, danach können Sie den gewünschten Knoten auswählen und auf OK. Nach ein paar Sekunden haben wir die VM auf einem anderen Knoten.
Wir können auch den Button Migrate oben rechts auswählen.

Wir haben bis jetzt erfolgreich einen Cluster aufgesetzt und können manuell die VMs auf andere Knoten verschieben. Wir haben aber noch keine Hochverfügbarkeit der VMs.
Sollte ein bestimmtes Knoten mit VMs ausfallen, werden auch die VMs nicht mehr erreichbar.

Szenario bei Hochverfügbarkeit: In so einem Fall erkennen die andere Knoten, dass die VMs nicht erreichbar sind und starten die VMs an anderen verfügbaren Knoten. Nach kurzer Zeit sind die VMs wieder erreichbar und einsatzbereit.

Der Cluster wird hochverfügbar gemacht.

Es wird eine HD Gruppe HA-Group1 erstellt. Zu dieser Gruppe werden alle 3 Knoten eingefügt pve1, pve2 und pve3. Wir können selbstverständlich auch die Priorität der Knoten setzen.

Jetzt müssen wir noch die VMs definieren, die zu der hochverfügbaren Gruppe gehören. Es wird links auf Datacenter geklickt, in der Mitte auf HA und rechts auf Resource->Add. Eine VM und die HA-Gruppe wird ausgewählt. Mit dem Button Add wird das alles bestätigt.
Ab jetzt haben wir hochverfügbare VM. Sollten der Knoten auf der die VM gerade läuft ausfallen, wird die VM in kürzeste Zeit auf einem anderen Knoten automatisch starten.

So einfach kann man mit Proxmox VE Hochverfügbarkeit aufsetzen. Jetzt sind Sie auf der sichere Seite.