DRBD, Distributed Replicated Block Device

Proxmox VE und DRBD für verteiltes Storage in kleinen Clustern.
Es werden 2 Server verwendet und es ist ohne Bedeutung, ob das VMs oder physische Server sind. Hier wird die einfachste Konfiguration des DRBD Dienstes für die Festplattenreplikation vorgestellt. Die Funktion des DRBD Dienstes kann man auch als RAID1 per Netzwerk nennen. Daten, die auf einem Server gespeichert sind, werden auch gleichzeitig auf der Festplatte des anderen Server übertragen und gespeichert. Das ist eine typische DRBD-Konfiguration der Version 8.x, aber kann man auch bei Version 9.x anwenden.

Zur Verfügung haben wir

2 Server mit jeweils 2 Netzwerkkarten und mindestens 2 Festplatte bzw. Partitionen
Proxmox VE

Es muss man auch dazu sagen, dass die VMs die Hochverfügbar sind, nur auf dem Primary Knoten gestartet werden können.

Unser Netzwerk (Ausgangssituation)

Firmen-Netzwerk: 172.16.0.0/22
DC: 172.16.0.10
Gateway: 172.16.0.1 (Die IP-Adresse der Firewall (Router))
DNS: IP-Adresse des DNS-Servers, z.B. des DC: 172.16.0.10

Daten zum Server1
Name: pve1
Domain: mono,plan
IP: 172.16.0.101/22
Gateway: 172.16.0.1
DNS: 172.16.0.10
Zweite Netzwerkkarte für die Festplattenreplikation
IP: 192.168.99.101/24
Zweite Festplatte: /dev/sdb1

Daten zum Server2
Name: pve2
Domain: mono,plan
IP: 172.16.0.102/22
Gateway: 172.16.0.1
DNS: 172.16.0.10
Zweite Netzwerkkarte für die Festplattenreplikation
IP: 192.168.99.102/24
Zweite Festplatte: /dev/sdb1

Proxmox VE Standardinstallation, Netzwerkdaten, z.B. wie oben.
Die Installation wird auf beiden Server durchgeführt. Wie die Standardinstallation von Proxmox VE durchgeführt wird, finden Sie im Artikel Proxmox Installation . Die Einstellung können Sie von dem Artikel Proxmox Einstellungen (Community)

Auf beiden Servern wird noch zweite Festplatte gebraucht, z.B. /dev/sdb. Die Partitionen auf den beiden Servern auf den zweiten Festplatten müssen gleich groß sein. Im Shell-Fenster mit cfdisk /dev/sdb können wir die Partitionen erstellen.

Auf beiden Servern installieren wir DRBD Tools.

root@pve1:/# apt install drbd-utils

root@pve2:/# apt install drbd-utils

Auf beiden Servern haben wir eine zweite Festplatte. Auf den Festplatten erstellen wir gleich große Partition, in unserem Fall /dev/sdb1. Ich nutze hier am besten cfdisk

root@pve1:/# cfdisk /dev/sdb

root@pve2:/# cfdisk /dev/sdb

Auf beiden Servern bearbeiten wir die Datei /etc/drbd.d/global_common.conf bzw. auf einem Server machen wir die Anpassung und dann kopieren wir die Datei auf den anderen Server z.B. mit scp.

startup {
        # wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb
        wfc-timeout 100; # Bis zu 100 Sekunden wartet auf anderen Knoten, dann geht es weiter
        degr-wfc-timeout 120;
}
...

disk {
        resync-rate 100M;
}
...

net {
        protocol C;
....
}

Auf beiden Servern erstellen wir eine gleiche Datei z.B. /etc/drbd.d/res_drbd.res bzw. auf einem Server erstellen wir die mit dem entsprechenden Inhalt und dann kopieren wir die auf den anderen Server z.B. mit scp.

resource res_drbd {
net {
     cram-hmac-alg sha1;
     shared-secret "secret+-";
}
on pve1 {
     device /dev/drbd1;
     disk /dev/sdb1;
     address 192.168.99.101:7789;
     meta-disk internal;
}
on pve2 {
     device /dev/drbd1;
     disk /dev/sdb1;
     address 192.168.99.102:7789;
     meta-disk internal;
}
}

Auf beiden Servern sollten wir den Befehl name -n ausführen. Auf dieser Weise vergewissern wir uns, ob die eingetragene Namen den Servern in der res_drbd.res richtig sind.

root@pve1:/etc/drbd.d# uname -n

root@pve2:/etc/drbd.d# uname -n

Die Replikation der Festplatten sollte durch die zweiten Netzwerkkarten stattfinden, aus diesem Grund müssen wir noch auf beiden Servern die /etc/hosts Datei bearbeiten.

127.0.0.1 localhost.localdomain localhost
192.168.99.101 pve1.mono.plan pve1
192.168.99.102 pve2.mono.plan pve2
...

Im Anschluss initialisieren wir das *Meta Data Storage*. Dazu führen wir folgendes Kommando an beiden Servern aus. Der Dienst drdb sollte am besten nicht laufen.

root@pve1:~# drbdadm create-md res_drbd

Sollten Sie Probleme mit der Erstellung von *Meta Data Storage* haben, kennen Sie folgender Befehl nutzen.
VORSICHT: Der unterstehende Code macht einige/alle angegebenen Geräte-/Festplattendaten unbrauchbar!
VORSICHT: Nach dem Drücken der Entertaste werden Sie nicht gefragt, ob Sie wirklich den Befehl ausführen wollen. Wenn Sie ein Fehler bei der Angabe der Partition machen, zerstören Sie möglicherweise eine funktionieren Partition.

root@pve1:~# dd if=/dev/zero of=/dev/sdxx bs=1M count=128

Der DRBD Dienst wird auf beiden Servern gestartet.

root@pve1:~# systemctl start drbd.service

Jetzt machen wir den Server pve1 zum Primary Node und veranlassen die Daten zu replizieren.

root@pve1:~# drbdadm -- --overwrite-data-of-peer primary res_drbd

Mit dem folgenden Befehl können Sie die Replikationfortschritt sehen

root@pve1:~# watch cat /proc/drbd

Jetzt wird das Dateisystem erstellt.

root@pve1:~# mkfs.ext4 /dev/drbd1

Auf beiden Servern erstellen Sie einen Ordner, z.B. /data

root@pve1:~# mkdir /data

root@pve2:~# mkdir /data

Nur auf dem Primary können wir die Partition /dev/drbd1 mounten.

root@pve1:~# mount -t ext4 /dev/drbd1 /data

Wenn die beider Server neu gestartet werden, stehen beider auf Secondary, deshalb muss man ein von denen auf Primary stellen und die DRBD-Partition mounten.

root@pvex:~# drbdadm primary res_drbd
root@pvex:~# mount -t ext4 /dev/drbd1 /data

Auf beiden Servern, im beliebigen Browser, wird das Web-Interface von beiden Servern gestartet. In unserem Fall wäre es,
https://172.16.0.101:8006/
https://172.16.0.102:8006/

Es wird Directory Storage erstellt, z.B. so wie auf dem unteren Bild. Es wird links auf Datacenter geklickt, dann rechts auf Storage und dann noch mehr nach recht auf Add. Hier wählen wir Directory.

Auf dem Primary wird immer die gemountete Größe der /dev/drbd1 Partition angezeigt. Auf dem Secondary wird die Größe der Systemfestplatte gezeigt.

Nur auf dem Server (Knoten) auf dem die DRBD-Partition als Primary definiert wurde und gemountet ist, werden die neue VMs erstellt. Dabei immer daran denken die Festplatten der VMs auf dem Storage data zu erstellen.

Die Konfigurationsdateien der VMs werden von pve1 nach pve2 kopiert. Die müssen sich dann im gleichen Ordner befinden, wie auf dem pve1.

root@pve1:~# scp /etc/pve/qemu-server/* pve2:/etc/pve/qemu-server

Im Web-Interface von beiden Server sehen wir die VMs. Starten können wir die nur auf einem Server, aber es müssen zwei Voraussetzungen erfühlt werden.

- Die Ressource muss als Primary definiert werden
- die DRBD Partition muss gemountet sein.

So einfach kann man mit der einfachsten DRBD Konfiguration die Hochverfügbarkeit erreichen. Zugegeben, bei Ausfall der Primary Knoten müssen wir manuell der anderen auf Primary hochstufen und mounten, aber immerhin haben wir den aktuellen Stand. Das ist sicherlich sehr wichtig bei Fileservern bzw. Datenbanken.

Wir können bei der DRBD Konfiguration auch Logical Volume einsetzen.
Mit Logical Volume sind wir mehr flexibel und können sogar den Festplattenspeicher im laufenden Betrieb erweitern. Bei freien Festplatten-Slots im Server haben wir die Möglichkeit den Festplattenspeicher zu erweitern. Auch im System können wir danach die DRBD Partitionen erweitern.
Wenn wir, z.B. nach dem Artikel Administration eines LVM vorgehen

Volume Group (vg1)
logical Volume (lv1)

zur Verfügung haben, dann würde unsere /etc/drbd.d/res_drbd.res wie folgt aussehen.

resource res_drbd {
net {
     cram-hmac-alg sha1;
     shared-secret "secret+-";
}
on pve1 {
     device /dev/drbd1;
     disk /dev/vg1/lv1;
     address 192.168.99.101:7789;
     meta-disk internal;
}
on pve2 {
     device /dev/drbd1;
     disk /dev/vg1/lv1;
     address 192.168.99.102:7789;
     meta-disk internal;
}
}

Fassen wir zusammen

Nach dem Neustart von beiden Servern sind beide als secondary. Im Shell-Fenster können das wir folgt überprüfen.

# drbdadm status
oder
# watch cat /proc/drbd
Ressource auf einem Knoten müssen wir als Primary hochstufen

# drbdadm primary red_drbd.res
Die DRBD Partition muss gemountet werden. In unserem Fall wurde am Anfang die Partition mit ext4 Dateiformat erstellt, deshalb

# mount -t ext4 /dev/drbd1 /data

Jetzt kann man die VMs starten

Die VMs auf anderem Knoten ausführen

Auf dem primary
- Alle VMs herunterfahren.
- die DRBD Partition umounten.
- abstufen auf secondary
# drbdadm secondary res_drbd
auf dem Zweiten der bisher als secondary war
- hochstufen auf primary
# drbdadm primary res_drbd
- mounten
- VMs starten.