[[Vorlage(Überarbeitung, 1.11.2016,"", Thomas_Do)]] [[Vorlage(Getestet, xenial)]] {{{#!vorlage Wissen [:Pakete_installieren: Installation von Programmen] [:Paketquellen:] [:sudo: Root-Rechte] [:Terminal: Ein Terminal öffnen] [:Editor: Einen Editor öffnen] }}} [[Inhaltsverzeichnis(2)]] [[Bild(logo.png, 128, align=left)]] [http://borgbackup.readthedocs.io BorgBackup] {en} (Borg) ist eine Software die eine sehr platzsparende und schnelle inkrementelle Archivierung ermöglicht. Alle Archive werden dabei an einem gemeinsamen Speicherort (Repository) abgelegt. Dieser kann sich sowohl auf dem lokalen System, als auch auf einem entfernten Rechner oder Laufwerk befinden. Borg hat weder eine grafische Oberfläche noch eine Konfigurationsdatei und wird allein über die Kommandozeile gesteuert. Mit Hilfe von Skripten kann das Backup aber sehr einfach automatisiert werden. Borg ist eine Weiterentwicklung (Fork) des Programms [https://attic-backup.org/ Attic]. '''Besondere Eigenschaften:''' * [wikipedia:Deduplikation: Deduplikation] * Authentifizierte Verschlüsselung möglich (AES) * Auswahl zwischen mehreren Kompressionsmethoden (lz4, zlib, lzma) * Unterstützung des [:ssh:]-Protokolls für Speicherung auf entfernten Rechnern * Unabhängig vom Dateisystem des Speicherorts '''Technik der Deduplikation:''' Borg unterscheidet sich von anderen Backupprogrammen vor allem durch die für die Deduplikation eingesetzte Technik. Hierbei werden alle Dateien in kleine Stücke (Chunks) zerlegt und mit den bereits vorhanden Chunks im Repository verglichen. Daher werden immer nur solche Daten gespeichert, die bisher noch nicht im Repository vorhanden sind. Die Deduplizierung ist bei Borg nicht auf die Dateiebene beschränkt, wie das z.B. bei [:Back_In_Time: Back In Time] der Fall ist. Ein entscheidender Vorteil entsteht dadurch bei kleinen Änderungen an sehr großen Dateien (z.B. Abbilder von virtuellen Machinen oder Laufwerken). Diese müssen nicht insgesamt neu gespeichert werden, sondern es werden immer nur die veränderten Chunks neu abgelegt. Auch bei Verschiebung von Dateien im Dateisystem oder bei mehrfachem Vorhandensein sehr ähnlicher Daten (z.B. mehrerer virtueller Maschinen) wirkt sich diese Form der Deduplikation positiv auf den benötigten Speicherplatz aus. Weitere Programme und Grundsätzliches ist im Artikel [:Datensicherung:] zu finden. = Installation = == Paketquellen == Borg ist seit Ubuntu 16.04 Xenial Xerus in den Paketquellen[2]. Die Installation erfolgt über die Pakete: {{{#!vorlage Paketinstallation borgbackup python-llfuse-doc, universe[2] }}} = Benutzung = {{{#!vorlage Hinweis Borg muss nicht unbedingt mit Administratorrechten ausgeführt werden. Hat der Nutzer jedoch kein Schreibrecht auf den Speicherort oder kein Leserecht für alle zu sichernden Dateien, muss den folgenden Befehlen ggf. ein [:sudo:][3] vorangestellt werden. }}} == Initialisierung == Bevor Backups in Archiven gespeichert werden können, muss ein Repository angelegt werden [4]: {{{#!vorlage Befehl mkdir REPO_VERZEICHNISPFAD borg init [OPTIONEN] REPO_VERZEICHNISPFAD }}} REPO_VERZEICHNISPFAD gibt dabei den Pfad zu einem leeren Verzeichnis an, in dem das Repository angelegt werden soll. Zu möglichen Optionen siehe nachfolgende Tabelle: {{{#!vorlage Tabelle Wichtige Optionen für den init-Befehl +++ -h oder --help Ausgabe eines Hilfetextes +++ -v oder --verbose Ausführlichere Ausgabe von Meldungen +++ -e oder --encryption {none,keyfile,repokey} Wählt die Art der Verschlüsselung {keine, lokale Schlüsseldatei, Schlüsseldatei im Repository} }}} Standard ist eine Verschlüsselung mit Ablage der Schlüsseldatei im Repository (repokey). Diese Datei wird dann über eine Passphrase gesichert. Befindet sich das Repository auf einem entfernten Rechner und will man die Sicherheit erhöhen, kann man die Schlüsseldatei auch im Verzeichnis '~.config/borg/keys' auf dem lokalen Rechner speichern (keyfile). Dann sollte man die Schlüsseldatei aber unbedingt zusätzlich sichern. :!: Sonst kann bei einem Datenverlust des lokalen Rechners das Archiv nicht wieder entschlüsselt werden. Soll das Repository auf einem entfernten Rechner mittels [:ssh:] angelegt werden, muss Borg vorher auch auf dem Zielrechner installiert werden. Danach kann alternativ folgender Befehl verwendet werden: {{{#!vorlage Befehl mkdir REPO_VERZEICHNISPFAD borg init [OPTIONEN] ssh://USER@HOSTNAME:PORT//REPO_VERZEICHNISPFAD }}} Wenn [:ssh:] mit bestimmten Optionen aufgerufen werden soll, kann die [:Umgebungsvariable/:] BORG_RSH verwendet werden. Die Angabe des Pfads zu einer Schlüsseldatei erfolgt z.B. so: {{{#!vorlage Befehl export BORG_RSH='ssh -i /PFAD/SCHLÜSSELDATEI' }}} Borg verwendet dann diesen Befehl statt [:ssh:]. {{{#!vorlage Hinweis Sollte eine Installation von Borg auf dem Zielrechner nicht möglich sein, kann das Zielverzeichnis alternativ zuvor auch mittels [:FUSE/sshfs/: sshfs] eingebunden werden. Dann kann Borg auf dieses Verzeichnis wie auf ein lokales Verzeichnis zugreifen. }}} '''Beispiel: ''' Der Benutzer "peter" möchte auf seiner externen Festplatte "HD_Backup" ein Repository "borgbackups" anlegen. In diesem Fall sieht die Befehlszeile so aus: {{{#!vorlage Befehl mkdir /media/peter/HD_Backup/borgbackups borg init /media/peter/HD_Backup/borgbackups }}} Nach Eingabe der Befehlszeile wird die Passphrase abgefragt, die zur Verschlüsselung verwendet werden soll. Da im Beispiel keine gesonderte Option angegeben wurde, wird die Standardoption "repokey" verwendet und die Schlüsseldatei im Repository gespeichert. == Anlegen von Archiven == {{{#!vorlage Warnung Bevor Backup-Archive erstellt werden, muss sichergestellt werden, dass genügend freier Speicherplatz im Repository-Verzeichnis vorhanden ist. Auch im Homeverzeichnis unter ~/.cache sollten mehrere Gigabyte für die Indexierung frei sein. }}} Archive werden mittels "create" angelegt. Die Liste der Verzeichnisse, die gesichert werden sollen, wird am Ende der Befehlszeile durch Leerzeichen getrennt angegeben. {{{#!vorlage Befehl borg create [OPTIONEN] REPO_VERZEICHNISPFAD::ARCHIVNAME VERZEICHNISPFAD_1 [VERZEICHNISPFAD_2 ...] }}} Für das Erstellen von Archiven über [:ssh:] muss alternativ folgender Befehl verwendet werden: {{{#!vorlage Befehl borg create [OPTIONEN] ssh://USER@HOSTNAME:PORT//REPO_VERZEICHNISPFAD::ARCHIVNAME VERZEICHNISPFAD_1 [VERZEICHNISPFAD_2 ...] }}} Zu möglichen Optionen für das Anlegen von Archiven siehe nachfolgende Tabelle: {{{#!vorlage Tabelle Wichtige Optionen für den create-Befehl +++ -h oder --help Ausgabe eines Hilfetextes +++ -v oder --verbose Ausführlichere Ausgabe von Meldungen +++ -s oder --stats Ausgabe von Statistiken zum erzeugten Archiv +++ -p oder --progress Ausgabe einer Fortschrittsanzeige +++ -e oder --exclude MUSTER Ein bestimmtes Muster bei der Sicherung ausschließen, z.B. "*.tmp" +++ --exclude-caches Cache-Verzeichnisse (mit dem CACHEDIR.TAG) ausschließen +++ -x oder --one-file-system Im gleichen Dateisystem bleiben und Einhängepunkte ignorieren +++ -C oder --compression KOMPRESSION Kompressionsalgorithmus und Stufe wählen (siehe nachfolgende Tabelle) }}} Die in Borg implementierten Kompressionsalgorithmen unterscheiden sich in Bezug auf Geschwindigkeit und Kompressionsgrad. lz4 ist sehr schnell, erreicht aber nur eine mittelhohe Kompression, zlib erreicht eine mittlere Geschwindigkeit und Kompression, während lzma am langsamsten ist aber den höchsten Kompressionsgrad ermöglicht. {{{#!vorlage Tabelle Mögliche Werte für die Kompressions-Option (-C oder --compression) +++ none Keine Kompression (Standard) +++ lz4 lz4 +++ zlib zlib Stufe 6 +++ zlib,N zlib Stufe N. N von 0 bis 9, z.B. „zlib,4“ +++ lzma lzma Stufe 6 +++ lzma,N lzma Stufe N. N von 0 bis 9, z.B. „lzma,4“ }}} '''Beispiel: ''' Der Benutzer "peter" hat auf einer externen Festplatte ein Repository "borgbackups" erstellt und will den Bilder- und den Videoordner seines Homeverzeichnisses in ein Archiv "MeineMedien" sichern. Die Kompression soll mit lzma der Stufe 4 erfolgen. In diesem Fall sieht die Befehlszeile so aus: {{{#!vorlage Befehl borg create -C lzma,4 /media/peter/HD_Backup/borgbackups::MeineMedien ~/Bilder ~/Videos }}} == Wiederherstellen von Daten == Die Wiederherstellung von Daten kann auf zwei unterschiedlichen Wegen erfolgen. Entweder werden die gesicherten Dateien und Verzeichnisse direkt ins Dateisystem zurückkopiert oder das gesamte Repository bzw. ein einzelnes Archiv wird mittels [:Fuse:] lesend ins Dateisystem eingebunden. In diesen Fall kann das Backup zunächst mit einem Dateimanager durchsucht und einzelne Dateien oder Verzeichnisse anschließend an andere Orte kopiert werden. === Zurückspielen von Dateien und Ordnern === Das Zurückspielen von Archiven wird mittels "extract" vorgenommen. Dabei wird immer das aktuelle Verzeichnis als Ziel verwendet. {{{#!vorlage Befehl cd ZIEL_VERZEICHNISPFAD borg extract [OPTIONEN] REPO_VERZEICHNISPFAD::ARCHIVNAME [VERZEICHNISPFAD_1 VERZEICHNISPFAD_2 ...] }}} Werden am Ende der Befehlszeile keine Verzeichnisse angegeben, wird das gesamte Archiv extrahiert. Für das Extrahieren von Archiven über [:ssh:] müssen alternativ folgende Befehle verwendet werden: {{{#!vorlage Befehl cd ZIEL_VERZEICHNISPFAD borg extract [OPTIONEN] ssh://USER@HOSTNAME:PORT//REPO_VERZEICHNISPFAD::ARCHIVNAME [VERZEICHNISPFAD_1 VERZEICHNISPFAD_2 ...] }}} Zu möglichen Optionen für das Extrahieren von Archiven siehe nachfolgende Tabelle: {{{#!vorlage Tabelle Wichtige Optionen für den extract-Befehl +++ -h oder --help Ausgabe eines Hilfetextes +++ -v oder --verbose Ausführlichere Ausgabe von Meldungen +++ -e oder --exclude MUSTER Ein bestimmtes Muster beim Zurückspielen ausschließen, z.B. "*.vdi" +++ -n oder --dry-run Testlauf ohne Datein zu schreiben }}}'''Beispiel: ''' Das Repository "borgbackups" des Benutzers "peter" liegt auf einer externen Festplatte. Das darin befindliche Verzeichnis "home/peter/Videos" im Archiv "MeineMedien" soll in das Verzeichnis "Wiederhergestellt" im Homeverzeichnis des Benutzers kopiert werden. In diesem Fall sieht die Befehlszeile so aus: {{{#!vorlage Befehl mkdir ~/Wiederhergestellt cd ~/Wiederhergestellt borg extract /media/peter/HD_Backup/borgbackups::MeineMedien home/peter/Videos }}} === Einhängen der Sicherung mit [:Fuse:] === Das Einhängen von Archiven erfolgt mittels "mount". Es muss zuvor ein entsprechendes Verzeichnis angelegt werden. {{{#!vorlage Befehl mkdir ZIEL_VERZEICHNISPFAD borg mount [OPTIONEN] REPO_VERZEICHNISPFAD[::ARCHIVNAME] ZIEL_VERZEICHNISPFAD }}} Wird kein Archivname angegeben, wird das gesamte Repository eingehängt. Nach dem Einhängen kann auf das Backup lesend zugegriffen werden. Zu möglichen Optionen für das Einhängen von Archiven siehe nachfolgende Tabelle: {{{#!vorlage Tabelle Wichtige Optionen für den mount-Befehl +++ -h oder --help Ausgabe eines Hilfetextes +++ -v oder --verbose Ausführlichere Ausgabe von Meldungen +++ -f oder --foreground Prozess bleibt im Vordergrund. Das Backup wird ausgehängt, sobald der Prozess beendet wird. }}} Wird "mount" ohne die Option "--foreground" aufgerufen, muss das Dateisystem wieder manuell ausgehängt werden: {{{#!vorlage Befehl fusermount -u ZIEL_VERZEICHNISPFAD }}} Für das Einhängen von Archiven über [:ssh:] müssen alternativ folgende Befehle verwendet werden: {{{#!vorlage Befehl mkdir ZIEL_VERZEICHNISPFAD borg mount [OPTIONEN] ssh://USER@HOSTNAME:PORT//REPO_VERZEICHNISPFAD[::ARCHIVNAME] ZIEL_VERZEICHNISPFAD }}} '''Beispiel: ''' Das Repository "borgbackups" des Benutzers "peter" liegt auf einer externen Festplatte. Das darin befindliche Archiv "MeineMedien" soll in das Verzeichnis "Sicherung" im Homeverzeichnis eingehängt werden. In diesem Fall sehen die Befehlszeilen so aus: {{{#!vorlage Befehl mkdir ~/Sicherung borg mount /media/peter/HD_Backup/borgbackups::MeineMedien ~/Sicherung fusermount -u ~/Sicherung # Nach Beendigung des Zugriffs }}} == Automatisches Löschen von Archiven == Eine vom Alter der Archive abhängige automatische Löschung kann mittels "prune" vorgenommen werden. {{{#!vorlage Befehl borg prune [OPTIONEN] REPO_VERZEICHNISPFAD }}} Welche Archive nicht gelöscht werden sollen, wird mit Hilfe der Optionen festgelegt. :!: Um nicht unbeabsichtigt Archive zu löschen, empfiehlt sich zunächst einen Testlauf mit den Optionen "--dry-run -v --list" vorzunehmen. Für das automatische Löschen von Archiven über [:ssh:] muss alternativ folgende Befehl verwendet werden: {{{#!vorlage Befehl borg prune [OPTIONEN] ssh://USER@HOSTNAME:PORT//REPO_VERZEICHNISPFAD }}} Zu möglichen Optionen für das automatische Löschen von Archiven siehe nachfolgende Tabelle: {{{#!vorlage Tabelle Wichtige Optionen für den prune-Befehl +++ -h oder --help Ausgabe eines Hilfetextes +++ -v oder --verbose Ausführlichere Ausgabe von Meldungen +++ -n oder --dry-run Testlauf ohne Archive zu löschen +++ --list Ausgabe einer Liste welche Archive gelöscht/behalten werden +++ --keep-within=NZ Behalte alle Archive im Zeitintervall NZ. N ist dabei eine positive Ganzzahl und Z eine Abkürzung für die Zeiteinheit: "H" Stunden, "d" Tage, "w" Wochen, "m" Monate und "y" Jahre. Also z.B. "7m" für sieben Monate. +++ -H=N oder --keep-hourly=N Behalte zusätzlich je ein Archiv der letzten N Stunden +++ -d=N oder --keep-daily=N Behalte zusätzlich je ein Archiv der letzten N Tage +++ -w=N oder --keep-weekly=N Behalte zusätzlich je ein Archiv der letzten N Wochen +++ -m=N oder --keep-monthly=N Behalte zusätzlich je ein Archiv der letzten N Monate +++ -y=N oder --keep-yearly=N Behalte zusätzlich je ein Archiv der letzten N Jahre }}} '''Beispiel: ''' Das Repository "borgbackups" des Benutzers "peter" liegt auf einer externen Festplatte. Alle Archive, die innerhalb des letzen Tages erstellt wurden sollen behalten werden. Außerdem sollen zusätzlich die aktuellsten Sicherungen der letzten sieben Tage, der letzen vier Wochen und der letzten zwölf Monate behalten werden. Es wird zunächst ein Testlauf durchgeführt: {{{#!vorlage Befehl borg prune --dry-run -v --list --keep-within=1d --keep-daily=7 --keep-weekly=4 --keep-monthly=12 /media/peter/HD_Backup/borgbackups }}} Um die Löschung tatsächlich vorzunehmen, muss der o.g. Befehl ohne die Option "--dry-run" ausgeführt werden. == Weitere Borg-Befehle == {{{#!vorlage Tabelle Borg Befehlsübersicht +++ borg __check__ [OPTIONEN] REPO_VERZEICHNISPFAD\[::ARCHIVNAME] Überprüfe die Konsistenz des gesamten Repositorys oder von einzelnen Archiven +++ borg __rename__ [OPTIONEN] REPO_VERZEICHNISPFAD::ARCHIVNAME NEUER_ARCHIVNAME Umbenennung eines Archivs +++ borg __list__ [OPTIONEN] REPO_VERZEICHNISPFAD\[::ARCHIVNAME] Gibt den Inhalt eines Repositorys oder eines Archivs aus +++ borg __delete__ [OPTIONEN] REPO_VERZEICHNISPFAD\[::ARCHIVNAME] Löscht einzelne Archive oder das gesamte Repository +++ borg __info__ [OPTIONEN] REPO_VERZEICHNISPFAD::ARCHIVNAME Ausgabe von Informationen über ein Archiv +++ borg __change-passphrase__ [OPTIONEN] REPO_VERZEICHNISPFAD Ändert die Passphrase +++ borg __break-lock__ [OPTIONEN] REPO_VERZEICHNISPFAD Hebt den Lockmechnismus auf. :!: Nur benutzen, wenn kein Prozess auf das Repository zugreift. }}} Eine vollständige Dokumentation aller Befehle findet man auf der {en} [https://borgbackup.readthedocs.io/en/stable/usage.html Projektseite]. == Skript für die erleichterte Benutzung von Borg == Da Borg keine Konfigurationsdatei besitzt und andererseits sehr viele Optionen kennt, werden die Befehlszeilen schnell unübersichtlich. Daher erledigt man die Archivierung am besten mit Hilfe eines Skripts. Eine Vorlage ist unten aufgeführt. Mit einem Editor[5] kann das Skript an die eigenen Bedürfnisse angepasst werden. Zunächst gibt man den Zielpfad, den Namen des Repositorys und die zu sichernden Verzeichnisse an. Die weiteren Optionen kann man bei Bedarf ebenfalls abändern. Das Skript muss dann z.B. im Homeverzeichnis unter "borgbackup.sh" gespeichert und anschließend ausführbar gemacht werden. {{{ chmod +x ~/borgbackup.sh }}} Das Skript kann anschießend im Terminal gestartet werden. {{{ ~/borgbackup.sh }}} ===Backupskript-Vorlage=== {{{#!code bash #!/bin/bash # Skript zur erleichterten Bedienung von BorgBackup # https://wiki.ubuntuusers.de/BorgBackup/ # https://borgbackup.readthedocs.io/en/stable/ # Hier Pfad zum Sicherungsmedium angeben. # z.B. zielpfad="/media/peter/HD_Backup" zielpfad="" # Hier Namen des Repositorys angeben. # z.B. repository="borgbackups" repository="" # Hier eine Liste mit den zu sichernden Verzeichnissen angeben # z.B. sicherung="/home/peter/Bilder /home/peter/Videos --exclude *.tmp" sicherung="" # Hier die Art der Verschlüsselung angeben # z.B. verschluesselung="none" verschluesselung="repokey" # Hier die Art der Kompression angeben # z.B. kompression="none" kompression="lz4" # Hier angeben, ob vor der Ausführung von BorgBackup auf vorhandene Root-Rechte geprüft werden soll # z.B. rootuser="ja" rootuser="nein" # Hier angeben nach welchem Schema alte Archive gelöscht werden sollen. # Die Vorgabe behält alle Sicherungen des aktuellen Tages. Zusätzlich das aktuellste Archiv der # letzten 7 Sicherungstage, der letzen 4 Wochen sowie der letzten 12 Monate. pruning="--keep-within=1d --keep-daily=7 --keep-weekly=4 --keep-monthly=12" ################################################################################################### repopfad="$zielpfad"/"$repository" # check for root if [ $(id -u) -ne 0 ] && [ "$rootuser" == "ja" ]; then echo "Sicherung muss als Root-User ausgeführt werden." exit 1 fi # Init borg-repo if absent if [ ! -d $repopfad ]; then borg init --encryption=$verschluesselung $repopfad echo "Borg-Repository erzeugt unter $repopfad" fi # backup data SECONDS=0 echo "Start der Sicherung $(date)." borg create --compression $kompression --exclude-caches --one-file-system -v --stats --progress \ $repopfad::'{hostname}-{now:%Y-%m-%d-%H%M%S}' $sicherung echo "Ende der Sicherung $(date). Dauer: $SECONDS Sekunden" # prune archives borg prune -v --list $repopfad --prefix '{hostname}-' $pruning }}} Hilfe zum Umgang mit Bash-Skripten findet man auch im [:Shell/Bash-Skripting-Guide_für_Anfänger/: Bash-Skripting-Guide für Anfänger]. = Links = * [http://borgbackup.readthedocs.io Borg-Projektseite mit sehr guter Dokumentation] {en} * [https://readthedocs.org/projects/borgbackup/downloads/pdf/stable/ Borg-Dokumentation als Download] {en} * [https://media.ccc.de/v/gpn16-7584-borgbackup Vortrag vom Entwickler Thomas Waldmann auf der GPN 2016] {de} * [:Datensicherung:] {Übersicht} Übersichtsartikel #tag: Backup, Netzwerk, System, Sicherheit, Shell, Server, Datensicherung, Deduplikation