Grundsätzliche Informationen¶

• Für ein RAID werden mehrere Partitionen^[4] benötigt. Dabei ist es dringend angeraten, diese auf verschiedenen Festplatten anzulegen. Zudem sollten die Partitionen alle die gleiche Größe haben.

• Es ist es möglich auf einer Festplatte mehrere Partitionen zu verwenden, davon wird aber abgeraten, da beim Ausfall der Festplatte das RAID nicht mehr lesbar ist.

• Ab Ubuntu 10.04 (Lucid Lynx) unterstützt die Alternate-CD bereits bei der Installation das Erstellen eines RAID (0, 1, 5, 6 & 10). Dies findet man unter dem Punkt: "Partitionieren".

• Um das komplette System zu einem RAID-Verbund zusammenzufassen, muss es mit der Alternate-CD aufgesetzt werden.

• Soll von einem neuen Raid-Verbund gebootet werden (Root-Dateisystem), muss der Bootloader installiert und die mdadm.conf mit ins initramfs übernommen werden.

• GRUB 2 erlaubt das direkte Booten auch von anderen RAID-Konstellationen, als hier vorgestellt.

Installation¶

Folgendes Paket muss installiert^[3] werden, um ein Software-RAID erstellen zu können:

• mdadm

Befehl zum Installieren der Pakete:

sudo apt-get install mdadm 

Oder mit apturl installieren, Link: apt://mdadm

Syntax¶

Durch die Angabe eines Schlüsselwortes wird ein bestimmter Modus eingeleitet, der für die ordnungsgemäße Verarbeitung der weiteren Optionen entscheidend ist. Eine komplette Beschreibung zu Modus und Optionen befindet sich in der Manpage zu mdadm.

mdadm OPTIONEN 

DEVICE /dev/sd[bcdjkl]1
DEVICE /dev/hda1 /dev/hdb1

# /dev/md0 is known by it's UID.
ARRAY /dev/md0 UUID=3aaa0122:29827cfa:5331ad66:ca767371
# /dev/md1 contains all devices with a minor number of
# 1 in the superblock.
ARRAY /dev/md1 superminor=1
# /dev/md2 is made from precisey these two devices
ARRAY /dev/md2 devices=/dev/hda1,/dev/hda2

# /dev/md4 and /dev/md5 are a spare-group and spares
# can be moved between them
ARRAY /dev/md4 uuid=b23f3c6d:aec43a9f:fd65db85:369432df

           spare-group=group1
ARRAY /dev/md5 uuid=19464854:03f71b1b:e0df2edd:246cc977

           spare-group=group1
# /dev/md/home is created if need to be a partitionable md array
# any spare device number is allocated.
ARRAY /dev/md/home UUID=9187a482:5dde19d9:eea3cc4a:d646ab8b

           auto=part

MAILADDR root@mydomain.tld
PROGRAM /usr/sbin/handle-mdadm-events

Anlegen eines RAID¶

sudo -i
echo 'DEVICE /dev/sd[efgh]1 /dev/sg[i][0-9]' >/etc/mdadm/mdadm.conf
echo 'MAILADDR user@example.com' >>/etc/mdadm/mdadm.conf
echo 'MAILFROM raid@example.com' >>/etc/mdadm/mdadm.conf
echo 'PROGRAM /usr/bin/usr/bin/raid-problem.sh' >>/etc/mdadm/mdadm.conf
exit 

sudo mdadm --monitor --test /dev/md0 

mdadm --query /dev/sde1 

sudo mdadm --zero-superblock /dev/sde1
sudo mdadm --zero-superblock /dev/sdg1 

sudo mdadm --create --verbose /dev/md0 --auto=yes --level=0 --raid-devices=2 /dev/sde1 /dev/sdf1 

sudo mdadm --create --verbose /dev/md0 --auto=yes --level=1 --raid-devices=2 /dev/sde1 /dev/sdf1 

sudo mdadm --create --verbose /dev/md0 --auto=yes --level=5 --raid-devices=3 /dev/sde1 /dev/sdf1 /dev/sdg1 

sudo mdadm --create --verbose /dev/md0 --auto=yes --level=6 --raid-devices=4 /dev/sde1 /dev/sdf1 /dev/sdg1 /dev/sdh1 

sudo mkfs.ext4 /dev/md0 

UUID=c4677279:2d8a904a:01f9e43d:ac30fbff     /media/daten      ext4      defaults 0 0

sudo mdadm --detail --scan >> /etc/mdadm/mdadm.conf 

ARRAY /dev/md0 level=raid4 num-devices=3 UUID=c4677279:2d8a904a:01f9e43d:ac30fbff

sudo mdadm --assemble --scan  

cat /proc/mdstat 

sudo mdadm --detail /dev/md0 

Defektes RAID¶

Ein funktionierendes, intaktes Array liefert bei den Abfragen als Status ein [UU] zurück. Am Status [U_] bzw. [_U] erkennt man, dass eine Festplatte/Partition nicht synchron ist. Man kann sich eine Übersicht anzeigen lassen, um den Status abzulesen:

Muster eines defekten RAID-Arrays:

Personalities : [raid1]
md1 : active raid1 sde2[0] sdf2[1](F)
      524276 blocks super 1.2 [2/1] [U_]

md0 : active raid1 sde1[0] sdf1[1](F)
      33553336 blocks super 1.2 [2/1] [U_]

unused devices: <none>

sudo mdadm /dev/md0 --remove /dev/sde1
sudo mdadm /dev/md1 --remove /dev/sde2
sudo mdadm /dev/md2 --remove /dev/sde3 

mdadm --manage /dev/md1 --fail /dev/sde2 

sudo swapoff -a 

sudo sfdisk -R /dev/sgi 

sudo partprobe -s /dev/sdi 

sudo mdadm /dev/md0 --add /dev/sdi1 

Personalities : [raid1]
md0 : active raid1 sdi1[1] sde1[0]
      1028096 blocks [2/2] [UU]
      [==========>..........]  resync =  50.0% (514048/1028096) finish=97.3min speed=65787K/sec

unused devices: <none>

RAID erweitern¶

Falls zum Beispiel der Speicherplatz eines RAIDs nicht mehr ausreicht, kann man es durch weitere Festplatten bzw. Partitionen erweitern. Dies gilt allerdings nur für ein RAID 1, 4, 5 oder 6. Die Partition, die hinzugefügt werden soll, muss genauso formatiert sein, wie die Partitionen, die bereits im RAID vorhanden sind.

Um das RAID neu aufzubauen und somit den neuen Speicherplatz nutzen zu können, muss man wie folgt vorgehen:

1. Sicherungsdatei anlegen:

   sudo cp /proc/sys/dev/raid/speed_limit_min /proc/sys/dev/raid/speed_limit_min.old 

2. Minimieren der Geschwindigkeit:

   sudo -i
   echo 100000 >/proc/sys/dev/raid/speed_limit_min
   exit 

3. Neue Festplatte/Partition dem vorhandenen Array hinzufügen:

   sudo mdadm --add /dev/md0 /dev/sdi1 

   Die Partition wird zunächst nur als Spare-Laufwerk zum RAID hinzugefügt. Dem Befehl können auch mehrere neue Partitionen mitgegeben werden, um gleich mehrere Geräte hinzuzufügen.

4. Das RAID neu aufbauen um somit den neuen Speicherplatz nutzen zu können:

   sudo mdadm --grow --raid-devices=4 /dev/md0 

   Die Option "raid-devices" gibt die Anzahl der Geräte an, aus denen das RAID nach der Erweiterung bestehen soll. Falls man den Platz hat, um ein Backup zu erstellen, kann man mit dem Zusatz "--backup-file=" einen Backup in eine externe Datei erstellen.

5. Das Dateisystem muss noch erweitert werden, damit der neu entstandene Speicherplatz genutzt werden kann. z.B.

   sudo resize2fs /dev/md0           # für ext-Dateisysteme 

6. Der überprüfung des Dateisystems (fsck) sollte man stattgeben, auch wenn es ein wenig Zeit in Anspruch nimmt.

7. Die mdadm.conf sollte noch auf den aktuellen Stand gebracht werden (evtl. alte Einträge löschen).

8. Der Status lässt sich wieder jederzeit einsehen.

9. Das Limit sollte nach erfolgreichem "reshaping" wieder zurückgesetzt werden:

   sudo cp /proc/sys/dev/raid/speed_limit_min.old /proc/sys/dev/raid/speed_limit_min 

Soll von dem neuen Raid-Verbund gebootet werden (Root-Dateisystem), dann muss noch der Bootloader installiert und die mdadm.conf in das initramfs übernommen werden.

Wechsel des Betriebssystems¶

Für den Fall, dass man das Betriebssystem neu aufsetzen muss oder ein zweites Betriebssystem auf dem Rechner installieren will, kann man das Software-RAID weiter verwenden (sofern das Betriebssystem nicht direkt auf dem Software-RAID angelegt ist). Danach muss man auf dem neuen System das Paket

• mdadm

Befehl zum Installieren der Pakete:

sudo apt-get install mdadm 

Oder mit apturl installieren, Link: apt://mdadm

installieren^[2].

Das RAID muss danach nur noch nutzbar gemacht werden:

1. RAID aus der mdadm.conf neu assemblieren

   sudo mdadm --assemble --scan 

2. Hat man mehrere Software-RAIDs und möchte ein bestimmtes RAID zusammenführen, kann man dies durch die Angabe der UUID des entsprechenden RAIDs tun:

   sudo mdadm --assemble --scan --uuid=6c926c35:380d7ab2:3603cf0e:ecfa67b9 

   oder durch die Angabe der einzelnen Partitionen

   sudo mdadm --assemble /dev/md0 /dev/sde1 /dev/sdf1 /dev/sdg1 

Soll von dem neuen Raid-Verbund gebootet werden (Root-Dateisystem), dann muss noch der Bootloader installiert und die mdadm.conf in das initramfs übernommen werden.

USB und RAID¶

Wichtig ist vor allem, dass RAID-0 (stripping) denkbar ungeeignet für ein USB-RAID ist, da bei diesem das Entfernen einer Platte direkt zum Defekt des RAID-Verbunds führt. Mit RAID 5 und 6 kann es kritisch werden, es sollte aber funktionieren, auch wenn stark davon abzuraten ist. Bei einem RAID 1 (Spiegel) mit mehreren Partitionen auf verschiedenen USB Festplatten sollte es keine Probleme geben.

RAID 1 funktioniert, weil immer auf alle Platten geschrieben wird und das System zwischenzeitlich entfernte Platten wieder synchronisieren kann. Bei USB-Festplatten muss man nur unterbinden, dass ein Benutzer versucht, diese einzuhängen bzw. dass das System dies am Anfang nicht selbst probiert. Da alle am RAID beteiligten Partitionen die gleiche UUID haben, sollte man die /etc/fstab^[9] auf diese abstellen und um die Parameter "nouser" und "noauto" erweitern.

Komplexe Szenarien¶

Wem die oben genannten Möglichkeiten nicht ausreichen, der kann auch auf komplexere Konfigurationen zurückgreifen. So ist es möglich, zwei RAID 5 zu spiegeln, also als RAID 1 zu betreiben, zum Beispiel:

1. Aus sde1, sdf1 & sdg1 wird ein RAID 5 erstellt

2. Aus sdh1 & sdi1 wird ebenfalls ein RAID 5 erstellt

3. Aus den beiden RAID 5 wird dann ein RAID 1 erstellt.

sudo mdadm --create --verbose /dev/md0 --auto=yes --level=5 --raid-devices=3 /dev/sde1 /dev/sdf1 /def/sdg1
sudo mdadm --create --verbose /dev/md1 --auto=yes --level=5 --raid-devices=2 /dev/sdh1 /dev/sdi1 
sudo mdadm --create --verbose /dev/md2 --auto=yes --level=1 --raid-devices=2 /dev/md0 /dev/md1  

Dies erhöht die Datensicherheit, da ein komplettes RAID 5 ausfallen kann, und die Daten trotzdem noch verfügbar sind.

Alternativ verwendet man auch gerne mehrere RAIDs in Zusammenarbeit mit LVM, da dieses einen sehr flexiblen Umgang mit den RAIDs ermöglicht. Zudem sind dadurch auch sehr große Dateisysteme mit etlichen Terabytes und sogar Petabytes realisierbar.

RAID auflösen¶

Um den Striping-Verbund eines RAID aufzulösen, d.h. die Resourcen wieder freizugeben, geht man wie folgt vor:

1. Stoppen des RAID-Verbundes:

   sudo umount /dev/md0
   mdadm --stop /dev/md0 

2. Mit einem Editor in der mdadm.conf alle Array-Angaben löschen.

3. Evtl. noch den RAID-Superblock der entfernten Partitionen löschen.

4. Die Partitions-ID wieder auf normale Linux-ID ändern, z.B. bei MPT auf 83 oder bei GPT auf 8300.

5. In der /etc/fstab^[9] die aufgelösten RAIDs entnehmen.

6. Evtl. noch verbliebene Arrays an die mdadm.conf neu anfügen

Die Daten sind damit nicht mehr zugreifbar. Die Partitionen auf den Festplatten sind damit aber immernoch vorhanden, solange diese nicht überschrieben werden.

Handelte es sich um startfähige RAID-Verbünde (Root-Dateisystem), dann sollte noch das initramfs aktualisiert werden. Sofern noch bootfähige Arrays verblieben sind muss auch die mdadm.conf wieder in das initramfs übernommen werden.

Bootloader¶

Betreibt man einen RAID-Verbund als Systemlaufwerk, ist es praktisch, wenn das System auch noch nach Ausfall einer Festplatte hochfahren kann. Das wird z.B. bei ferngewarteten Rechnern benötigt, auf die man keinen direkten Zugriff hat. Da sich der Bootloader GRUB_2 in der Standardkonfiguration nur auf einem der Laufwerke installiert, muss man etwas nachhelfen. Dazu installiert man den Bootloader auf allen dem RAID-Verbund angehörenden Laufwerken.

• MPT: Installation: des Bootloaders in alle MBR aller beteiligten Festplatten (grub-install /dev/sdX), wobei die neu eingerichteten Festplatten anzugegeben sind.

• GPT: Der Bootloader muss in die entsprechenden Boot-Partitionn installiert werden.

Weitere Möglichkeiten, z.B. bei der Reparatur des RAID, bieten die Root-Directory-, die Chroot- oder die Setup-Methode.

dpkg-reconfigure mdadm 

sudo update-initramfs -u -k all 

Fehlermeldungen¶

mdadm: Cannot open /dev/sdXY: Device or resource busy

sudo mdadm --manage --stop /dev/mdX 

Links¶

• Manpage🇬🇧 zu mdadm

• Manpage🇬🇧 zu mdadm.conf

• Linux Raid 🇬🇧 - Dokumentation im Wiki von Kernel.org

• mdadm Dokumentation 🇬🇧

• Quick HOWTO - Linux Software RAID 🇬🇧 - ein weiteres RAID-Howto