OCRmyPDF

Dieser Artikel wurde für die folgenden Ubuntu-Versionen getestet:

Zum Verständnis dieses Artikels sind folgende Seiten hilfreich:

  1. Installation von Programmen

  2. Archive entpacken

  3. Dateien ausführbar machen

  4. Ein Terminal verwenden

  5. Root-Rechte

  6. Einen Editor verwenden

Inhaltsverzeichnis
  1. Installation
    1. Verwendung vom Python-Paketmanager
      1. 18.04
      2. 16.04
    2. Abschluss der Installation unter 16.04 u...
  2. Benutzung
    1. Funktionsweise
    2. Optionen
  3. Probleme und Lösungen
  4. Anwendungsmöglichkeiten
  5. Alternativen
  6. Links

Wiki/Icons/terminal.png OCRmyPDF 🇬🇧 ist ein Kommandozeilenprogramm, um für eingescannte PDF-Dateien eine durchsuchbare Textebene zu erstellen. Das Resultat wird im PDF/A2-b-Format gespeichert. Für die Texterkennung kommt Tesseract zum Einsatz, benötigt wird Version 4.xx.

Des Weiteren werden verschiedene PDF-Programme (Ghostscript, QPDF) und Grafik-Anwendungen (ImageMagick, unpaper, pngquant) verwendet, außerdem Python und einige Python-PDF-Module. Das Programm überprüft bei Erstaufruf, ob die benötigten Programme installiert sind, und gibt bei fehlenden Teilen entsprechende Hinweise aus. Die Passung der Textlage ist sehr gut, die Verarbeitung sehr zuverlässig, die Dateigrößen akzeptable, und die Verwendung des PDF/A-2b-Standards für das Ergebnis kann unter Ubuntu momentan wohl sonst kein anderes Programm bieten.

Hinweis:

PDF-Dateien, die direkt aus LibreOffice oder anderen Textbearbeitungsprogrammen erstellt wurden, sind in der Regel keine "grafischen" PDF-Dateien und lassen sich auch so durchsuchen. Eine zusätzliche Textlage ist daher nicht nötig. OCRmyPDF erstellt zumindest eine PDF/A-Version solcher PDF-Dateien.

Installation

Zur Nutzung werden folgende Pakete benötigt:

Paketliste zum Kopieren:

sudo apt-get install imagemagick parallel ghostscript qpdf unpaper tesseract-ocr 

Oder mit apturl die Pakete installieren. Link: apt://imagemagick,parallel,ghostscript,qpdf,unpaper,tesseract-ocr

OCRmyPDF ist seit Ubuntu 16.10 in den offiziellen Paketquellen enthalten; allerdings sind die Versionen nicht sonderlich aktuell. Folgendes Paket muss installiert werden[1]:

Paketliste zum Kopieren:

sudo apt-get install ocrmypdf 

Oder mit apturl die Pakete installieren. Link: apt://ocrmypdf

Verwendung vom Python-Paketmanager

18.04

Dieser Abschnitt erklärt die Installation der aktuellsten Version mittels pip unter 18.04. Benötigt wird eine aktuellere Version von pip als unter 18.04 in den Quellen vorliegt. Sie kann von https://bootstrap.pypa.io ⮷ bezogen und installiert werden (siehe auch pip (Abschnitt „Manuelle-Installation“)), z.B. mit

wget https://bootstrap.pypa.io/get-pip.py && python3 get-pip.py 

Außerdem werden neben den o.g. Programmen zwei zusätzliche Pakete benötigt:

  • libxml2

  • pngquant

Paketliste zum Kopieren:

sudo apt-get install libxml2 pngquant 

Oder mit apturl die Pakete installieren. Link: apt://libxml2,pngquant

(Quelle: Installation der aktuellen Version unter 18.04 🇬🇧)

16.04

Um auch unter 16.04 aktuelle Versionen verwenden zu können, ist etwas Aufwand vonnöten. OCRmyPDF benötigt Python 3.6, dass für xenial nicht in den offiziellen Quellen vorhanden ist, außerdem kann tesseract-ocr nur Version 4.xx verwendet werden, welches ebenfalls nicht in den Quellen vorliegt. Daher werden zwei PPAs verwendet, um die nötigen Programme installieren zu können.

Adresszeile zum Hinzufügen des PPAs:

  • ppa:deadsnakes/ppa

Hinweis!

Zusätzliche Fremdquellen können das System gefährden.


Ein PPA unterstützt nicht zwangsläufig alle Ubuntu-Versionen. Weitere Informationen sind der Wiki/Vorlagen/PPA/ppa.png PPA-Beschreibung des Eigentümers/Teams deadsnakes zu entnehmen.

Damit Pakete aus dem PPA genutzt werden können, müssen die Paketquellen neu eingelesen werden.

Adresszeile zum Hinzufügen des PPAs:

  • ppa:alex-p/tesseract-ocr

Hinweis!

Zusätzliche Fremdquellen können das System gefährden.


Ein PPA unterstützt nicht zwangsläufig alle Ubuntu-Versionen. Weitere Informationen sind der Wiki/Vorlagen/PPA/ppa.png PPA-Beschreibung des Eigentümers/Teams alex-p zu entnehmen.

Damit Pakete aus dem PPA genutzt werden können, müssen die Paketquellen neu eingelesen werden.

Es werden zusätzlich folgende Pakete benötigt

  • python3.6 (ppa)

  • tesseract-ocr (ppa)

  • tesseract-ocr-deu (ppa, optional, sowie gewünschte andere Sprachpakete)

  • libexempi3

  • libffi6

  • pngquant

Paketliste zum Kopieren:

sudo apt-get install python3.6 tesseract-ocr tesseract-ocr-deu libexempi3 libffi6 pngquant 

Oder mit apturl die Pakete installieren. Link: apt://python3.6,tesseract-ocr,tesseract-ocr-deu,libexempi3,libffi6,pngquant

Nun wird pip für Python 3.6 installiert, der folgende Befehl installiert es in /usr/local/bin/pip:

curl https://bootstrap.pypa.io/get-pip.py | sudo -H python3.6 

(Quelle: ocrmypdf.readthedocs.io 🇬🇧, das dort genannte Python-PPA ist allerdings nicht mehr öffentlich zugänglich.)

Abschluss der Installation unter 16.04 und 18.04

Dann kann OCRmyPDF für den aktuellen Benutzer installiert werden, das Verzeichnis ~/.local/bin muss in PATH Umgebungsvariable auftauchen, sichergestellt z.B. durch

export PATH=$HOME/.local/bin:$PATH
pip3 install --user ocrmypdf 

Dabei werden alle weiteren benötigten Abhängigkeiten direkt mit bezogen. Installiert wird die ocrmypdf-Version 9.5.0 (Stand Januar 2020). Eine ältere ocrmypdf-Version muss ggf. erst entfernt werden (z.B. durch Entfernen/Umbenennen des Ordners /usr/lib/python3/dist-packages/ocrmypdf-X.X.X.dist-info mit Root-Rechten[5]).

Experten-Info:

OCRmyPDF kann zur Erstellung von stark komprimierten SW-PDFs den jbig2-Encoder verwenden, ähnlich dem für DjVu-Dateien eingesetzten CJB2-Algorithmus. Allerdings ist das Programm derzeit nicht in den Quellen vorhanden, und muss manuell erstellt werden. Damit ist auch die Nutzung der Option --jbig2-lossy möglich, die noch weitere Größenreduzierungen möglich macht (siehe auch Hinweise 🇬🇧 in der OCRmyPDF-Dokumentation).

Benutzung

Die allgemeine Syntax auf der Kommandozeile lautet dann

ocrmypdf [OPTION(EN)] EINGABE.pdf AUSGABE.pdf 

Funktionsweise

./CouMsTest1A.pdf_001.jpg
Mit -g-Option erstelltes PDF in Evince

Die Eingabedatei ist eine rein "grafische", auch mehrseitige, PDF-Datei. Diese wird seitenweise ausgemessen (mit identify aus ImageMagick), und die Seiten in ppm/pgm-Dateien umgewandelt (das Programm erkennt, ob es sich um farbige oder schwarzweiße Vorlagen handelt). Optional werden diese Dateien geradegezogen (convert mit -deskew-Option) und gesäubert (unpaper). Aus diesen Vorlagen werden mit tesseract hOCR-Dateien mit dem Text und den Lageinformationen erstellt, diese Dateien überführt das hocrTransform.py-Skript jeweils in eine PDF-Datei mit Textlage. Die einzelnen PDF-Dateien werden wieder zusammengefasst, diese Ausgabedatei wird mittels Ghostscript in eine PDF/A-Datei umgeformt.

Optionen

OCRmyPDF-Optionen
Option Funktion
-h Hilfefunktion
-v Ausführlichkeit der Meldungen erhöhen (diese Option kann mehrfach verwendet werden)
-k Temporärdateien nicht löschen (Speicherort ist standardmäßig OCRmyPDF-x.x/tmp/DATUM_UHRZEIT.filename.EINGABE ohne Endung)
-g Debug-Modus:
- erstellt eine PDF-Datei, in der jede Seite zweimal vorhanden ist (einmal nur mit der Textlage und den "bounding boxes", einmal mit dem Bild; siehe Abbildung)
- Ausführlichkeit wird auf das höchstmögliche Level gestellt
- die Temporärdateien werden nicht gelöscht, es wird ein Log zur PDF-Überprüfung angelegt
-d Jede Seite vor der Texterkennung geradeziehen (mit convert aus ImageMagick)
-c Jede Seite vor Texterkennung säubern (mit unpaper)
-i Das gesäuberte Bild in der Ausgabe-PDF-Datei verwenden (Standard ist es, das Original zu verwenden, oder die geradegezogene Version, wenn die -d-Option gesetzt ist)
-o Falls die Auflösung eines Vorlagebildes niedriger sein sollte als die per Argument angegebene Auflösung in dpi, wird für die Texterkennung ein "oversampled" Bild mit letzterer Auflösung erstellt. Dadurch kann die Texterkennung verbessert werden, führt aber ggf. zu größeren PDF-Ausgabedateien (Standard: keine Verwendung von oversampled Vorlagen)
-f Erzwinge eine Texterkennung für das gesamte Dokument, selbst wenn einige Seiten bereits Font-Daten enthalten (was bei PDF-Dateien aus Scans eigentlich nicht vorkommen sollte). Nutzung allerdings mit Bedacht, da bei überdimensionierten PDFs einen sehr hohe CPU/Arbeitsspeicher-Last entstehen kann!.
-l Angabe der Sprache in der PDF-Datei, die Texterkennung wird dadurch verbessert (Standard ohne Angabe ist Englisch), jede von Tesseract unterstützte Sprache ist möglich
-C Angabe einer zusätzlichen tesseract-Konfigurationsdatei (diese Option kann mehrfach verwendet werden). Die Konfigurationsdatei muss sich im tessdata/configs-Verzeichnis der tesseract-Installation befinden, normalerweise /usr/share/tesseract/ zu finden. Die mitgelieferte Datei tess-cfg/no_ligature, die die Verwendung der f-Ligaturen und verhindert, muss zur Nutzung entsprechend verschoben werden.
-s Überspringt bei der Texterstellung alle Seiten, in denen schon Text enthalten ist, die Seiten werden aber in das Dokument aufgenommen. Sinnvoll für Seiten, die eine Mixtur aus Bildern, Textseiten und /oder bereits mit OCR versehenen Lagen beinhalten.
--output-type {pdfa,pdf,pdfa-1,pdfa-2,pdfa-3} Legt das Ausgabeformat fest - pdfa erzeugt eine dem PDF/A-2b-Standard entsprechend Datei zur Langzeit-Archivierung (empfohlen, Standardeinstellung). Mit pdf wird versucht, die Eingabedateiinhalte so wenig als möglich zu verändern. Mit pdf-a1 wird eine PDF/A1-b Datei erstellt, pdf-a2 entspricht pdfa, pdf-a3 erzeugt eine PDF/A3-b-Datei.

Die Hilfefunktion liefert Informationen zu einer Vielzahl weiterer Optionen.

Probleme und Lösungen

OCRmyPDF bearbeitet standardmäßig keine Dateien, die bereits mit einer Textlage versehen sind und gibt Fehlermeldungen dazu aus. Falls das gewünscht ist (z.B. weil später weitere Seiten angehängt worden sind oder versehentlich eine falsche Spracheinstellung gewählt wurde), kann die Option -f (force) verwendet werden, damit wird die Texterkennung für das gesamte Dokument wiederholt. Mit der -s | --skip-text-Option kann mindestens ab Version 6.1.2 auch angegeben werden, dass Seiten mit Textlage für die Texterkennung übersprungen werden.

Anwendungsmöglichkeiten

OCRmyPDF lässt sich mit xsane2OCRmyPDF verwenden, um direkt aus XSane heraus hochwertige PDFs mit Textebene im PDF/A-2b-Standard zu erstellen. Für Scanner mit Tasten lässt sich via OCRmyPDF mit einigen Programmen die direkte Erstellung von PDFs mit Textlage per Tastendruck verwirklichen.

Alternativen

Es gibt einige Programme, die eine Textlage für PDF-Dateien erstellen können. gscan2pdf und xsane2OCRmyPDF ermöglichen es, direkt Scans zu erstellen und zu verarbeiten, pdfocr und pdfsandwich arbeiten ähnlich wie OCRmyPDF auf der Kommandozeile mit vorhandene "grafischen" PDF-Dateien. Allgemein scheinen Programme, die für die Zusammenführung der Textlagen mit dem Bild auf hocr2pdf zurückgreifen, mehr Probleme mit der Textlagenpassung im "Sandwich"-PDF zu haben. Die Passung ist bei Verwendung von Perl- (gscan2pdf) oder Python-Modulen (wie hier in OCRmyPDF, oder indirekt, z.B. in Paperwork und ocrodjvu), wesentlich genauer. Problem mit der Passung gibt es häufig auch bei der Verwendung von mit Cuneiform-Linux erzeugten hOCR-Dateien, leider inzwischen auch mit von Tesseract 3.03 erstellten hOCR-Dateien.