Voraussetzungen¶

Für ein RAID werden mehrere Partitionen benötigt. Es ist dringend angeraten, diese auf verschiedenen Festplatten anzulegen. Zudem sollten die Partitionen alle die gleiche Größe haben. Angabe des Speicherplatzes im RAID in Kapazität je Partition (k); "n" ist die Anzahl der verwendeten Partitionen.

Zusätzlich werden sog. "Spare"-Laufwerke unterstützt, d.h. Festplatten, die aktiv nicht am RAID teilnehmen, aber im Fehlerfall sofort mit ins RAID aufgenommen werden.

Zwar ist es möglich, für ein RAID mehrere Partitionen auf einer Festplatte zu verwenden, jedoch ist dies unsinnig, da beim Ausfall der Festplatte das RAID nicht mehr lesbar ist.

Bei IDE-ATA-Festplatten gilt: die verwendeten Festplatten sollten nicht an einem IDE-Kanal hängen, da im Fehlerfall einer Festplatte unter Umständen der komplette IDE-Kanal gestört wird und dadurch u.U. das RAID nicht mehr nutzbar ist. Bei einem RAID 0 erhöht sich die Gesamtleistung, da paralleles Lesen/Schreiben auf verschiedenen IDE-Kanälen schneller geht als auf nur einem.

Generell sollte man bei RAIDs moderne SATA-Festplatten verwenden, da der Datendurchsatz bei dieser Technologie zum Teil erheblich höher ist. Zudem sind SATA-Platten "hotplugable"; das heißt, sie sind im laufenden Betrieb eines RAIDs an- und abschaltbar, und damit auch austauschbar. Allerdings sollte man genau wissen was man tut, bevor man sich an solcherlei Aktionen heranwagt.

Die folgende Anleitung beschreibt die Konfiguration eines Software-RAID als Datenfestplatte, nicht als Bootfestplatte (dafür sind noch andere Schritte nötig).

Vorbereitung¶

Folgendes Paket muss installiert ^[2] werden, um ein Software RAID erstellen zu können:

• mdadm

Bis einschließlich Ubuntu 8.10 sollte sichergestellt sein, dass das Kernelmodul "md" geladen ist. Ab Ubuntu 9.04 ist die RAID-Funktionalität fest im Kernel integriert und das Modul wird nicht benötigt.

Dazu folgendes in einer Konsole eingeben:

sudo lsmod | grep md 

Das Ergebniss sollte in etwa so aussehen:

md_mod                 79508  2 raid1

Gibt der Befehl keine Rückgabe, so muss das Modul zunächst manuell geladen werden:

sudo modprobe md 

Anschließend sollte noch wie unter Kernelmodule beschrieben ein Eintrag in /etc/modules vorgenommen werden um das Modul beim Systemstart automatisch zu laden^[3].

Anlegen eines RAID¶

fdisk /dev/hde 

mdadm --zero-superblock /dev/hde1
mdadm --zero-superblock /dev/hdg1 

mdadm --create --verbose /dev/md0 --auto=yes --level=0 --raid-devices=2 /dev/hde1 /dev/hdg1 

mdadm --create --verbose /dev/md0 --auto=yes --level=1 --raid-devices=2 /dev/hde1 /dev/hdg1 

mdadm --create --verbose /dev/md0 --auto=yes --level=5 --raid-devices=3 /dev/hde1 /dev/hdf1 /dev/hdg1 

mdadm --create --verbose /dev/md0 --auto=yes --level=6 --raid-devices=4 /dev/hde1 /dev/hdf1 /dev/hdg1 /dev/hdh1 

sudo mkfs.ext3 /dev/md0 

Benutzung/Konfiguration¶

Um HotSpares hinzufügen wird der Befehl

sudo mdadm --add /dev/mdxx /dev/sdaxx 

ausgeführt.

Für E-Mail-Benachrichtigung muss die Datei /etc/mdadm/mdadm.conf mit Root-Rechten editiert und folgende Zeile eingefügt werden:

MAILADDR example@example.com

Optional kann hier auch die Absenderadresse konfiguriert werden:

MAILFROM mdadm@example.com

Zusätzlich zu einer E-Mail-Benachrichtigung kann ein Programm ausgeführt werden. Hierzu fügt man folgende Zeile ein:

PROGRAM /usr/bin/raid-problem.sh

Um die E-Mail-Benachrichtigung und die Ausführung des Programmes zu testen führt man folgenden Befehl aus:

mdadm --monitor --test /dev/md0

Wichtig ist, dass die Option "AUTOCHECK" in der Datei /etc/default/mdadm auf "true" eingestellt ist.

Das RAID muss nun natürlich in den Dateibaum eingebunden werden. Der korrelierende Eintrag dazu in der /etc/fstab folgt der selben Syntax wie der einer normalen Partition, und könnte beispielsweise so aussehen:

/dev/md0     /media/daten      ext3      defaults 0 0

Ausführliche Informationen zu einem Raid-Device erhält man mittels folgendem Befehl:

mdadm --detail /dev/Raiddevice 

Ebenso lässt sich mit diesem Befehl eine kurze Übersicht des RAIDs ausgeben:

cat /proc/mdstat 

Nachdem das RAID-Device nun gemountet und funktionsfähig, sowie in der fstab eingetragen ist, müssen noch die RAID-Platten in die mdadm.conf eintragen werden. Dazu werden im Terminal die Metadaten und UUID des RAIDs abgefragt:

mdadm --detail --scan 

Die beiden ausgegebenen Werte werden nun in einem Editor mit Root-Rechten in die Datei /etc/mdadm/mdadm.conf eingetragen, z.B. /dev/hda3 und /dev/hdb1:

DEVICE /dev/hda3 /dev/hdb1

Darunter wird das neue Array wie folgt eingetragen:

ARRAY /dev/md0 level=raid0 num-devices=2 metadata=00.90 UUID=c4677279:2d8a904a:01f9e43d:ac30fbff
mdadm --detail --scan

Nach Abspeichern wird das ganze Array nun bei jedem Systemstart automatisch erkannt werden.

Wer es einfacher haben will, benutzt einfach diesen Befehl, sobald die Arrays erstellt sind und laufen:

sudo mdadm --detail --scan >> /etc/mdadm/mdadm.conf  

mdadm /dev/md0 --remove /dev/hde1 

sfdisk -d /dev/hdf | sfdisk /dev/hde 

mdadm /dev/md0 --add /dev/hde1 

mdadm --stop /dev/mdX 

mdadm --assemble /dev/mdX /dev/sdaX /dev/sdbX --force 

mdadm --assemble --scan 

mdadm --assemble --scan --uuid=6c926c35:380d7ab2:3603cf0e:ecfa67b9 

mdadm --assemble /dev/mdX /dev/sdaX /dev/sdbX /dev/sdcX 

sudo mdadm --add /dev/mdX /dev/sddX 

mdadm --grow --raid-devices=X /dev/mdX 

cat /proc/mdstat 

sudo -i 

echo 100000 >/proc/sys/dev/raid/speed_limit_min 

exit 

resize2fs /dev/mdX 

resize_reiserfs /dev/mdX 

Systemstart nach Ausfall eines Laufwerks¶

Betreibt man ein Raid-Verbund als Systemlaufwerk, ist es praktisch, wenn das System auch noch nach Ausfall einer Festplatte hochfahren kann. Das wird z.B. bei ferngewarteten Rechnern benötigt, auf die man keinen direkten Zugriff hat. Da sich GRUB in der Standardkonfiguration nur auf einem der Laufwerke installiert, muss man da etwas nachhelfen.

Dazu installiert man GRUB auf allen dem Raidverbund angehörenden Laufwerken in den MBR wie folgt:

Mit

sudo grub 

landet man in der GRUB-Konsole. Die sieht dann wie folgt aus:

Probing devices to guess BIOS drives. This may take a long time.

       [ Minimal BASH-like line editing is supported.   For
         the   first   word,  TAB  lists  possible  command
         completions.  Anywhere else TAB lists the possible
         completions of a device/filename. ]
grub>

Jetzt muss man GRUB von Hand auf die entsprechenden Festplatten installieren:

grub>device (hd0) /dev/sdb 
grub>root (hd0,0)
grub>setup (hd0)
grub>device (hd0) /dev/sdc
grub>root (hd0,0)
grub>setup (hd0)
... 

Hat man das gemacht, beendet man die Grub-Konsole mit "quit".

Jetzt ist in jedem Fall schonmal ein Boot-loader vorhanden. Nun muss man die /boot/grub/menu.lst noch anpassen:

...
title           Ubuntu 9.04, kernel 2.6.28-11-server
root            (hd0,0)
kernel          /boot/vmlinuz-2.6.28-11-server root=/dev/md0 ro quiet splash
initrd          /boot/initrd.img-2.6.28-11-server
...

es muss darauf geachtet werden dass die richtige Gerätedatei angegeben ist (hier /dev/md0).

Da das Tool "mdadm" bei einem fehlerhaften Raid-Verbund (eine Platte defekt) standardmäßig nicht automatisch hochfährt und stattdessen in eine kleine Shell wechselt, muss man dies noch ausschalten. In der Datei /etc/initramfs-tools/conf.d/mdadm muss der Wert "BOOT_DEGRADED" auf "true" gesetzt werden, oder man benutzt

dpkg-reconfigure mdadm 

Jetzt fährt das System in jedem Fall bei Ausfall eines Laufwerks hoch.

Probleme mit Ubuntu 9.04¶

Mit Ubuntu Version 9.04 wurde RAID direkt im Kernel integriert. Dies kann allerdings häufig zu Problemen führen, so ist es möglich, dass RAID in einen "degraded"-Zustand verfällt. Meistens treten diese "Fehler" allerdings erst nach einem Neustart auf. Hat man das RAID also gerade erst neu aufgesetzt, wartet man am besten, bis das "resync" durchgelaufen ist.

Der folgende Befehl zeigt den Fortschritt an

   cat /proc/mdstat 

Ist dies abgeschlossen, startet man das System zum Test neu, da das RAID nun in einem "degraded"-Zustand sein könntet. Prüfen kann man dies mit dem gleichen Befehl.

Man hat nun einen Zustand erreicht, den viele durch Upgraden auf 9.04 mit existierendem RAID besitzen. Sie können also hier einsteigen, wenn sie gerade einen Upgrade hinter sich haben.

Da die Festplatten im Folgenden nur neu "eingesammelt" werden, sollten keine Daten verloren gehen. Es sei hier nahe gelegt, den "degraded" RAID zu benutzen, um eine Sicherheitskopie anzulegen (falls dies noch möglich ist!) Wenn nicht sollte man sagen, dass ein RAID Sicherheitskopien nicht ersetzt. Gründe dafür können Viren, Benutzerfehler, Totalausfall oder eben auch ein Systemupdate sein.

sudo mdadm --stop /dev/md*  

sudo mdadm --assemble /dev/md_d0 /dev/sda1 /dev/sdb1 

sudo mdadm --detail --scan >> /etc/mdadm/mdadm.conf 

sudo mdadm --examine --scan --config=mdadm.conf >> /etc/mdadm/mdadm.conf 

# definitions of existing MD arrays
#Diese Zeile müssen Sie auskommentieren 
#ARRAY /dev/md0 level=raid1 num-devices=2 UUID=c4677279:2d8a904a:01f9e43d:ac30fbff
#Diese Zeile wurde eingefügt:

ARRAY /dev/md/d0 level=raid1 num-devices=2 metadata=00.90 UUID=ea1f247d:e21f1ae1:01f9e43d:ac30fbff

sudo mkdir /media/raiddisk  

/dev/md0 /media/raiddisk ext3 defaults 0 0

    sudo mount -a 

Dateisystem            Größe Benut  Verf Ben% Eingehängt auf

/dev/md0              917G   11G  861G   2% /media/raiddisk <---- RAID

USB und RAID¶

Wichtig ist vor allem, dass RAID-0 (stripping) denkbar ungeeignet für ein USB-RAID ist, da bei diesem das Entfernen einer Platte direkt zum Defekt des RAID-Verbunds führt. Mit RAID5-6 kann es kritisch werden, es sollte aber funktionieren, auch wenn stark davon abzuraten ist. Daher ist das Folgende an einem RAID-1 (Spiegel) mit 2 Partitionen auf 2 verschiedenen USB Festplatten (sdb1 sdc1) erklärt.

RAID1 funktioniert, weil immer auf alle Platten geschrieben wird und das System zwischenzeitlich entfernte Platten wieder synchronisieren kann.

Bei USB-Festplatten muss man unterbinden, dass Benutzer versuchen, diese einzuhängen. und dass das System dies am Anfang nicht selbst probiert. Dazu sollte man wissen, dass alle am RAID beteiligten Partitionen die gleiche UUID haben. Diese kopiert man in die fstab und fügt die Parameter "nouser" und "noauto" hinzu.

Zum Herausfinden der UUID folgenden Befehl ausführen:

sudo vol_id /dev/sdb1
sudo vol_id /dev/sdc1 

Beide sollten die gleiche UUID haben, wenn sie am gleichen RAID beteiligt sind. Daher muss man auch nur einen UUID-Eintrag in die fstab aufnehmen.

Dies geschieht in dem Beispiel, indem man die Datei /etc/fstab in einem Editor mit Root-Rechten bearbeitet:

... hier stehen noch autogenerierte Einträge....
##################RAID 1 sdb1 and sdc1 settings###########################
#deny automout and useraccess to sdb1 sdc1
#verbiete den Automount und den Benutzerzugriff zu sdb1 sdc1
UUID=ea1f247d:e21f1ae1:01f9e43d:ac30fbff none auto nouser,noauto 0 0

#Mount RAID in /media/usbraiddisk with default parameters
#Mounte das RAID in /media/usbraiddisk mit standard parametern.
/dev/md0 /media/usbraiddisk ext3 defaults 0 0

Bedeutung:

• "UUID=ea1....bff" lokalisiert die Partitionen sdb1 und sdc1 eindeutig, auch wenn diese mal ausgesteckt wurden und der alte Name sdb1 oder sdc1 schon belegt ist.

• "none" bedeutet, dass diese Festplatten nicht eingehängt werden, sie sollen ja auch nur über das RAID erreichbar sein.

• "auto" ermittelt das Dateisystem automatisch, "fd" würde hier also auch gehen.

• "nouser" verbietet, dass Benutzer diese Partition mounten können, bzw dass sie in "Orte" verfügbar ist.

• "noauto" verbietet dem System, diese Festplatte beim Hochfahren zu mounten. Dies ist nicht zwingend notwendig, da es nicht versuchen wird. (Kleine Kritik an Ubuntu: Ubuntu ist ein Betriebssystem für einfache Benutzer oder Linux-Einsteiger, daher ist man sich nie ganz sicher, was hier alles automatisch und vor allem wann gemacht wird, oder ob dies durch Hilfsprogramme getätigt wird. Dies macht Ubuntu zwar sehr einfach in der Bedienung, führt aber bei komplexen Situationen wie USB-RAIDs zu erheblichen Problemen. Daher besser "noauto" einfügen, um die gewünschte Eigenschaft zu garantieren.)

• "0 0" am Ende sind die "dump"- und "pass"-Werte. Mehr dazu unter fstab

Komplexe Szenarien¶

Wem die oben genannten Möglichkeiten nicht ausreichen, der kann auch auf komplexere Konfigurationen zurückgreifen. So ist es möglich, zwei RAID 5 zu spiegeln, also als RAID 1 zu betreiben (zum Beispiel: md0 = sda1 + sdb1 + sdc1 ; md1 = sdd1 + sde1 + sdg1 ; md2 = md0 + md1 ; wobei md0 und md1 jeweils ein RAID 5 sind, und md2 ein RAID 1 ist). Dies erhöht die Datensicherheit, da ein komplettes RAID 5 ausfallen kann, und die Daten trotzdem noch verfügbar sind.

Alternativ verwendet man auch gerne mehrere RAIDs in Zusammenarbeit mit LVM, da dieses einen sehr flexiblen Umgang mit den RAIDs ermöglicht. Zudem sind dadurch auch sehr große Dateisysteme mit etlichen Terabytes und sogar Petabytes realisierbar.

Booten von Raid 1¶

Hat man ein Softwareraid manuell eingerichtet und möchte ohne extra /boot-Partition direkt vom Raid 1 starten, so muss man nach der Installation von "mdadm" das Initramfs aktualisieren:

update-initramfs -u -k all 

sudo mount /dev/md0 /mnt
sudo mount -o bind /dev /mnt/dev
sudo mount -t proc /proc /mnt/proc
sudo chroot /mnt /bin/bash
sudo update-initramfs -u -k all 

mdadm: Cannot open /dev/sdXX: Device or resource busy

sudo mdadm --manage --stop /dev/mdX 

mdadm.conf¶

Sollte wider Erwarten ein RAID beim Booten nicht erkannt werden, so kann man mit der Datei /etc/mdadm/mdadm.conf der automatischen Erkennung auf die Sprünge helfen. Zuerst aktiviert und startet man alle RAIDs händisch (s.o.), damit sie vom Kernel erkannt werden. Der Befehl

cat /proc/mdstat 

zeigt anschliessend an, ob alles seine Richtigkeit hat. Dann erstellt man eine neue Konfigurations-Datei. Hier muss man unterscheiden, ob man Partitionen oder ganze Platten für das Raid verwendet hat:

Befehle zur Wiederherstellung der Konfigurationsdatei bei aus Partitionen aufgebauten RAIDs:

echo 'DEVICE /dev/hd*[0-9] /dev/sd*[0-9]' > /etc/mdadm/mdadm.conf
mdadm --detail --scan >> /etc/mdadm/mdadm.conf 

Befehle zur Wiederherstellung der Konfigurationsdatei bei aus ganzen Platten aufgebauten RAIDs:

echo 'DEVICE /dev/hd[a-z] /dev/sd*[a-z]' > /etc/mdadm/mdadm.conf
mdadm --examine --scan --config=/etc/mdadm/mdadm.conf >> /etc/mdadm/mdadm.conf 

Links¶

• Allgemeine Informationen zu RAID in der Wikipedia

• Linux Raid Wiki

• mdadm Dokumentation

• ein anderes Raid Howto