DRBD 9, Nutzung des Festplattenspeichers unter Proxmox VE, verteiltes Storage
Proxmox VE und DRBD 9 für verteiltes Storage in größeren Clustern.
Mit Linstor können wir ein verteiltes Dateisystem aufsetzen, den Festplattenspeicher im Cluster nutzen und außerdem können wir das ganze System hochverfügbar machen.
Es werden 3 physische Server mit entsprechend viel RAM, sehr viel Festplattenspeicher und mehreren CPU Kernen gebraucht.
Auf jedem Server wird Proxmox VE 8.3.x installiert.
Netz und die Namen der Server
Netz: 172.16.0.0/22
Domäne: mono.plan
Gateway: 172.16.0.1
DNS: 8.8.8.8 oder andere DNS-Server
pve201 IP-Adresse: 172.16.0.201
pve202 IP-Adresse: 172.16.0.202
pve203 IP-Adresse: 172.16.0.203
Nach der Proxmox VE Installation haben wir 3 Server zur Verfügung. Danach können wir im Browser auf dem Client die WEB Interfaces starten und sich anmelden.
https://172.16.0.201:8006

Die WEB Interfaces von dem zweiten Proxmox VE Server.
https://172.16.0.202:8006

Die WEB Interfaces von dem dritten Proxmox VE Server.
https://172.16.0.103:8006


172.16.0.202 pve202.mono.plan pve202
172.16.0.203 pve203.mono.plan pve203







Wir warten eine Weile und aktualisieren dann die Web-Seite. Es kommt das Anmeldefenster und nach dem Anmelden sehen wir schon die Änderungen in auf der Oberfläche.





DRBD 9, Verwaltung des Festpalttenspeichers der 3 Server mit Linstor.
DRBD hat die Aufgabe, die Daten in Echtzeit auf andere Server zu spiegeln. Auf diese Weise kann man Hochverfügbarkeit der Server erreichen. In unserem Fall würde das so aussehen, dass die Daten, die auf dem Server pve201 gespeichert werden, sofort auf den anderen beiden Servern pve202 und pve203 gespiegelt werden. In unserem Fall haben immer aktuelle Daten auf 3 verschiedenen Servern.
Zu diesem Zweck brauchen wir DRBD 9 auf den Servern. Bei Standard Installation ist DRBD 8 auf Proxmox VE 8.x installiert.

# dpkg -i /tmp/linbit-keyring.deb
# PVERS=8 && echo "deb [signed-by=/etc/apt/trusted.gpg.d/linbit-keyring.gpg] \
http://packages.linbit.com/public/ proxmox-$PVERS drbd-9" > /etc/apt/sources.list.d/linbit.list
# apt update
# apt upgrade

# apt install -y linstor-controller linstor-satellite linstor-client

Die Ausgabe müsste so ca. aussehen. Auf jeden Fall sollte mindesten die Version 9 zeigen.
softdep: post: handshake
alias: block-major-147-*
license: GPL
version: 9.2.12
description: drbd - Distributed Replicated Block Device v9.2.12
author: Philipp Reisner <phil@linbit.com>, Lars Ellenberg <lars@linbit.com>
...

Auf allen Server.
Type=notify
TimeoutStartSec=infinity


Wir haben eine Partition sdb1 erstelllt. Jetzt können wir die Partition initialisieren. Auf jedem Server
Eine VG wird erstellt. Auf jedem Server,


root@pve201:~# linstor node create pve202 172.16.0.202 --node-type Combined
root@pve201:~# linstor node create pve203 172.16.0.203 --node-type Combined

Die Ausgabe sollte so ähnlich aussehen.


root@pve201:~# linstor storage-pool create lvm pve202 pve-storage vg_drbd
root@pve201:~# linstor storage-pool create lvm pve203 pve-storage vg_drbd







Folgender Inhalt kann man einfügen.
content images,rootdir
controller 172.16.0.201
resourcegroup pve-rg
So könnte die Datei /etc/pve/storage.cfg aussehen.
path /var/lib/vz
content iso,vztmpl,backup
lvmthin: local-lvm
thinpool data
vgname pve
content rootdir,images
drbd: linstor_drbd
content images,rootdir
controller 172.16.0.201
resourcegroup pve-rg

root@pve202:~# systemctl restart pve-cluster pvedaemon pvestatd pveproxy pve-ha-lrm
root@pve203:~# systemctl restart pve-cluster pvedaemon pvestatd pveproxy pve-ha-lrm


Wenn die Synchronisation abgeschlossen ist, wird es ca. so aussehen.

Wenn eine VM gestartet ist, wird die Festplatte bzw. die Festplatten in Benutzung (InUse) angezeigt.

Die VMs kann man jederzeit von einem zu dem anderen Server ohne Unterbrechung migrieren.
Wir haben ein Cluster, aber noch keine Hochverfügbarkeit.
Der Cluster wird hochverfügbar gemacht.



Ab jetzt haben wir hochverfügbare VM. Sollten der Knoten auf der die VM gerade läuft ausfallen, wird die VM in kürzeste Zeit auf einem anderen Knoten automatisch starten.



Update auf den Proxmox VE Servern.
Bei Updates sollten wir folgendes beachten.
- Die VMs von dem Server, der gerade upgedatet wird, auf andere Server verschieben.
- gewöhnliches Update mit apt update und apt upgrade reicht nicht aus, wenn neuer Kernel installiert wird.
- nach dem Neustart des Servers mit dem Befehl modinfo drbd überprüfen, ob DRBD 9 Version geladen ist.
- wenn alles funktioniert, die VMs wieder auf den Server verschieben und den nächsten aktualisieren.

# uname -r

# apt upgrade
# reboot



# apt -y install --reinstall drbd-dkms drbd-utils
