[[Vorlage(Getestet, bionic, focal)]] {{{#!vorlage Wissen [:Pakete installieren: Installation von Programmen] [:Packprogramme: Archive entpacken] [:Rechte#Datei-ausfuehrbar-machen:Dateien ausführbar machen] [:Terminal: Ein Terminal verwenden] [:sudo: Root-Rechte] [:Editor:Einen Editor verwenden] }}} [[Inhaltsverzeichnis()]] [[Bild(Wiki/Icons/terminal.png, 48, left)]] [github:jbarlow83/OCRmyPDF:OCRmyPDF] {en} ist ein Kommandozeilenprogramm, um für eingescannte [:PDF:]-Dateien eine durchsuchbare Textebene zu erstellen. Das Resultat wird im [wikipedia:PDF/A#PDF/A-2:PDF/A2-b]-Format gespeichert. Für die Texterkennung kommt [:tesseract-ocr:Tesseract] zum Einsatz, benötigt wird Version 4.xx. Des Weiteren werden verschiedene PDF-Programme ([:Ghostscript:], [sourceforge2:QPDF:]) und Grafik-Anwendungen ([:ImageMagick:], [:unpaper:], [:pngquant:]) verwendet, außerdem [:Python:] und einige Python-PDF-Module. Das Programm überprüft bei Erstaufruf, ob die benötigten Programme installiert sind, und gibt bei fehlenden Teilen entsprechende Hinweise aus. Die Passung der Textlage ist sehr gut, die Verarbeitung sehr zuverlässig, die Dateigrößen akzeptable, und die Verwendung des PDF/A-2b-Standards für das Ergebnis kann unter Ubuntu momentan wohl sonst kein anderes Programm bieten. {{{#!vorlage Hinweis PDF-Dateien, die direkt aus [:LibreOffice:] oder anderen Textbearbeitungsprogrammen erstellt wurden, sind in der Regel keine "grafischen" PDF-Dateien und lassen sich auch so durchsuchen. Eine zusätzliche Textlage ist daher nicht nötig. OCRmyPDF erstellt zumindest eine PDF/A-Version solcher PDF-Dateien. }}} = Installation = Zur Nutzung werden folgende Pakete benötigt: {{{#!vorlage Paketinstallation imagemagick parallel ghostscript qpdf unpaper tesseract-ocr, sowie gewünschte Sprachpakete }}} OCRmyPDF ist seit [:Yakkety:Ubuntu 16.10] in den offiziellen Paketquellen enthalten; allerdings sind die Versionen nicht sonderlich aktuell. Unter [:18.04:] wird Version 6.1.2 installiert, unter [:20.04:] 9.6.0 (siehe [packages:ocrmypdf:]). Folgendes Paket muss installiert werden[1]: {{{#!vorlage Paketinstallation ocrmypdf, universe }}} Die aktuelle Version 10.3.1 (Stand November 2020) kann aber unter [:20.04:] problemlos auch aus den Quellen von [:20.10:] bezogen und installiert werden. == Verwendung vom Python-Paketmanager== === 18.04 === Dieser Abschnitt erklärt die Installation der aktuellsten Version mittels [:pip:] unter 18.04. Benötigt wird eine aktuellere Version von pip als unter 18.04 in den Quellen vorliegt. Sie kann von [https://bootstrap.pypa.io] {dl} bezogen und installiert werden (siehe auch [:pip/#Manuelle-Installation:]), z.B. mit {{{#!vorlage Befehl wget https://bootstrap.pypa.io/get-pip.py && python3 get-pip.py }}} Außerdem werden neben den o.g. Programmen zwei zusätzliche Pakete benötigt: {{{#!vorlage Paketinstallation libxml2 pngquant }}} (Quelle: [https://ocrmypdf.readthedocs.io/en/latest/installation.html#installing-the-latest-version-on-ubuntu-18-04-lts Installation der aktuellen Version unter 18.04] {en}) === Abschluss der Installation === Dann kann OCRmyPDF für den aktuellen Benutzer installiert werden, das Verzeichnis '''~/.local/bin''' muss in `PATH` Umgebungsvariable auftauchen, sichergestellt z.B. durch {{{#!vorlage Befehl export PATH=$HOME/.local/bin:$PATH pip3 install --user ocrmypdf }}} Dabei werden alle weiteren benötigten Abhängigkeiten direkt mit bezogen. Installiert wird die ocrmypdf-Version 9.5.0 (Stand Januar 2020). Eine ältere ocrmypdf-Version muss ggf. erst entfernt werden (z.B. durch Entfernen/Umbenennen des Ordners '''/usr/lib/python3/dist-packages/ocrmypdf-X.X.X.dist-info''' mit Root-Rechten[5]). {{{#!vorlage Experten OCRmyPDF kann zur Erstellung von stark komprimierten SW-PDFs den [wikipedia:JBIG2:jbig2]-Encoder verwenden, ähnlich dem für [:DjVu:]-Dateien eingesetzten CJB2-Algorithmus. Allerdings ist das Programm derzeit nicht in den Quellen vorhanden, und muss manuell erstellt werden. Damit ist auch die Nutzung der Option `--jbig2-lossy` möglich, die noch weitere Größenreduzierungen möglich macht (siehe auch [https://ocrmypdf.readthedocs.io/en/latest/jbig2.html Hinweise] {en} in der OCRmyPDF-Dokumentation). }}} = Benutzung = Die allgemeine Syntax auf der Kommandozeile lautet dann {{{#!vorlage Befehl ocrmypdf [OPTION(EN)] EINGABE.pdf AUSGABE.pdf }}} == Funktionsweise == [[Vorlage (Bildunterschrift, ./CouMsTest1A.pdf_001.jpg, 300, "Mit `-g`-Option erstelltes PDF in [:Evince:]", right)]] Die Eingabedatei ist eine rein "grafische", auch mehrseitige, PDF-Datei. Diese wird seitenweise ausgemessen (mit `identify` aus ImageMagick), und die Seiten in '''ppm'''/'''pgm'''-Dateien umgewandelt (das Programm erkennt, ob es sich um farbige oder schwarzweiße Vorlagen handelt). Optional werden diese Dateien geradegezogen (`convert` mit `-deskew`-Option) und gesäubert (unpaper). Aus diesen Vorlagen werden mit tesseract [wikipedia:hOCR_(Standard):hOCR-Dateien] mit dem Text und den Lageinformationen erstellt, diese Dateien überführt das '''hocrTransform.py'''-Skript jeweils in eine PDF-Datei mit Textlage. Die einzelnen PDF-Dateien werden wieder zusammengefasst, diese Ausgabedatei wird mittels Ghostscript in eine PDF/A-Datei umgeformt. == Optionen == {{{#!vorlage Tabelle <-2 rowclass="titel"> OCRmyPDF-Optionen +++ Option Funktion +++ `-h` Hilfefunktion +++ `-v` Ausführlichkeit der Meldungen erhöhen (diese Option kann mehrfach verwendet werden) +++ `-k` Temporärdateien nicht löschen (Speicherort ist standardmäßig '''OCRmyPDF-x.x/tmp/DATUM_UHRZEIT.filename.EINGABE''' ohne Endung) +++ `-g` Debug-Modus:[[BR]] - erstellt eine PDF-Datei, in der jede Seite zweimal vorhanden ist (einmal nur mit der Textlage und den "bounding boxes", einmal mit dem Bild; siehe Abbildung)[[BR]] - Ausführlichkeit wird auf das höchstmögliche Level gestellt[[BR]] - die Temporärdateien werden nicht gelöscht, es wird ein Log zur PDF-Überprüfung angelegt +++ `-d` Jede Seite vor der Texterkennung geradeziehen (mit `convert` aus ImageMagick) +++ `-c` Jede Seite vor Texterkennung säubern (mit unpaper) +++ `-i` Das gesäuberte Bild in der Ausgabe-PDF-Datei verwenden (Standard ist es, das Original zu verwenden, oder die geradegezogene Version, wenn die `-d`-Option gesetzt ist) +++ `-o` Falls die Auflösung eines Vorlagebildes niedriger sein sollte als die per Argument angegebene Auflösung in dpi, wird für die Texterkennung ein "oversampled" Bild mit letzterer Auflösung erstellt. Dadurch kann die Texterkennung verbessert werden, führt aber ggf. zu größeren PDF-Ausgabedateien (Standard: keine Verwendung von oversampled Vorlagen) +++ `-f` Erzwinge eine Texterkennung für das gesamte Dokument, selbst wenn einige Seiten bereits Font-Daten enthalten (was bei PDF-Dateien aus Scans eigentlich nicht vorkommen sollte). Nutzung allerdings mit Bedacht, da bei [:PDF#oversized:überdimensionierten PDFs] einen sehr hohe CPU/Arbeitsspeicher-Last entstehen kann!. +++ `-l` Angabe der Sprache in der PDF-Datei als 3-stelliger Sprachcode (ISO 639-2), z.B. "deu" für deutsch. Die Texterkennung wird dadurch verbessert (Standard ohne Angabe ist Englisch). Jede von Tesseract unterstützte Sprache ist möglich. +++ `-C` Angabe einer zusätzlichen tesseract-Konfigurationsdatei (diese Option kann mehrfach verwendet werden). Die Konfigurationsdatei muss sich im '''tessdata/configs'''-Verzeichnis der tesseract-Installation befinden, normalerweise '''/usr/share/tesseract/''' zu finden. Die mitgelieferte Datei '''tess-cfg/no_ligature''', die die Verwendung der f-Ligaturen `fi` und `fl` verhindert, muss zur Nutzung entsprechend verschoben werden. +++ -s Überspringt bei der Texterstellung alle Seiten, in denen schon Text enthalten ist, die Seiten werden aber in das Dokument aufgenommen. Sinnvoll für Seiten, die eine Mixtur aus Bildern, Textseiten und /oder bereits mit OCR versehenen Lagen beinhalten. +++ `--output-type {pdfa,pdf,pdfa-1,pdfa-2,pdfa-3}` Legt das Ausgabeformat fest - `pdfa` erzeugt eine dem PDF/A-2b-Standard entsprechend Datei zur Langzeit-Archivierung (empfohlen, Standardeinstellung). Mit `pdf` wird versucht, die Eingabedateiinhalte so wenig als möglich zu verändern. Mit `pdf-a1` wird eine PDF/A1-b Datei erstellt, `pdf-a2` entspricht `pdfa`, `pdf-a3` erzeugt eine PDF/A3-b-Datei. }}} Die Hilfefunktion liefert Informationen zu einer Vielzahl weiterer Optionen. = Probleme und Lösungen = OCRmyPDF bearbeitet standardmäßig keine Dateien, die bereits mit einer Textlage versehen sind und gibt Fehlermeldungen dazu aus. Falls das gewünscht ist (z.B. weil später weitere Seiten angehängt worden sind oder versehentlich eine falsche Spracheinstellung gewählt wurde), kann die Option `-f` (force) verwendet werden, damit wird die Texterkennung für das gesamte Dokument wiederholt. Mit der `-s | --skip-text`-Option kann mindestens ab Version 6.1.2 auch angegeben werden, dass Seiten mit Textlage für die Texterkennung übersprungen werden. Neuere Versionen unterstützen zudem `--redo-ocr`, womit die OCR-Ebene ohne Qualitätsverlust durch Rasterisierung ersetzt wird, während digitaler Text gänzlich unberührt bleibt. = Anwendungsmöglichkeiten = OCRmyPDF lässt sich mit [:xsane2OCRmyPDF:] verwenden, um direkt aus XSane heraus hochwertige PDFs mit Textebene im PDF/A-2b-Standard zu erstellen. Für Scanner mit Tasten lässt sich via OCRmyPDF mit [:Scanner/Software/#Tasten-am-Scanner-verwenden:einigen Programmen] die direkte Erstellung von PDFs mit Textlage per Tastendruck verwirklichen. Darüber hinaus gibt es auch verschiedene GUIs für OCRmyPDF, z.B. [github:digidigital/OCRthyPDF-Essentials:OCRthyPDF] {en}. = Alternativen = Es gibt einige Programme, die eine Textlage für PDF-Dateien erstellen können. [:gscan2pdf:] und [:xsane2OCRmyPDF:] ermöglichen es, direkt Scans zu erstellen und zu verarbeiten, [:pdfocr:] und [:pdfsandwich:] arbeiten ähnlich wie OCRmyPDF auf der Kommandozeile mit vorhandene "grafischen" PDF-Dateien. Allgemein scheinen Programme, die für die Zusammenführung der Textlagen mit dem Bild auf [:ExactImage#hocr2pdf:hocr2pdf] zurückgreifen, mehr Probleme mit der Textlagenpassung im "Sandwich"-PDF zu haben. Die Passung ist bei Verwendung von Perl- (gscan2pdf) oder Python-Modulen (wie hier in OCRmyPDF, oder indirekt, z.B. in [:Paperwork:] und [:ocrodjvu:]), wesentlich genauer. Problem mit der Passung gibt es häufig auch bei der Verwendung von mit [:Cuneiform-Linux:] erzeugten hOCR-Dateien, leider inzwischen auch mit von Tesseract 3.03 erstellten hOCR-Dateien. = Links = * [github:jbarlow83/OCRmyPDF:Projektseite] {en} * [https://ocrmypdf.readthedocs.io/en/latest/index.html Ausführliche ocrmypdf-Dokumentation] {en} * [heise:-2356670:Toolbox: Texterkennung mit OCRmyPDF] {de} - heise Open Source, 09/2014 * [http://blog.konradvoelkel.de/2013/03/scan-to-pdfa/ Linux, OCR and PDF: Scan to PDF/A] {en} - Blogbeitrag zum Scannen und Umwandeln in PDF/A-Dateien, 03/2013 * [:PDF:] {Übersicht} Übersichtsartikel zu PDF-Programmen * [:Texterkennung:] {Übersicht} Übersichtsartikel zum Thema OCR #tag: Grafik, Büro, Kommunikation, OCR, PDF