Kleine Modelle lesen alte Bücher besser als große, und das kostet zwei Dollar pro tausend Seiten
Hugging Face und EleutherAI testeten 14 offene Texterkennungsmodelle auf historischen Seiten. Der Gewinner hat 3 Milliarden Parameter und schlägt ein Modell, das dreimal so groß ist.
Hier ist ein Problem, von dem Sie nicht vermuten würden, dass es die KI zurückhält: Der Text alter Bücher ist schlecht. Bibliotheken haben vor Jahren Millionen gemeinfreier Bände gescannt und sie einer optischen Zeichenerkennung unterzogen, einer Software, die ein Bild einer Seite in Buchstaben umwandelt. Die Ergebnisse sind voller Fehler und Modelle, die mit diesem Text trainiert wurden, lernen schlecht. Ein Projekt hat es gemessen: Ein Sprachmodell, das auf alten, maschinengelesenen Texten trainiert wurde, lernte nur mit 30 Prozent der Effizienz eines Sprachmodells, das auf denselben, von Menschen transkribierten Büchern trainiert wurde.
FineBooks, eine gemeinsame Initiative von Hugging Face und EleutherAI, wollte prüfen, ob die heutigen offenen Modelle dieses Problem beheben können. Das Team ließ 14 offen verfügbare Texterkennungsmodelle auf 2.165 Seiten historischer Bücher laufen und veröffentlichte die Ergebnisse als öffentliche Rangliste. Das beste Modell, dots.mocr, liest 97,6 Prozent der Zeichen korrekt und kostet 1,94 Dollar pro tausend Seiten. Alle 14 laufen auf lokaler Hardware, keine API key erforderlich.
Die Überraschung ist, welche Modelle gewonnen haben. dots.mocr verfügt über 3 Milliarden Parameter, die internen Zahlen, die ein Modell während des Trainings lernt, und einen groben Proxy für die Größe. Qwen3.5-9B ist mehr als dreimal so groß und schneidet mit 94,9 Prozent schlechter ab. Der zweite Platz geht an OvisOCR2 mit 0,9 Milliarden Parametern, 96,9 Prozent Genauigkeit und 46 Cent pro tausend Seiten. Beim Lesen alter Bücher passen Größe und Qualität einfach nicht zusammen.
Das Team achtet darauf, was die Zahlen abdecken. Der Test verwendet ausschließlich Antiqua-Schriftarten in Englisch, Französisch, Deutsch und Latein auf einspaltigen Seiten. Keine Fraktur, keine nicht-lateinischen Schriften, keine Handschrift. Die Grundwahrheit stammt aus sechs Bänden, die von Experten zwischen 2011 und 2012 mit etwa einem Fehler pro 2.000 Zeichen transkribiert wurden. Und das Urteil ist je nach Zweck gespalten: gut genug für KI-Trainingsdaten, nicht gut genug für die Wissenschaft, weil die Modelle veraltete Zeichen wie das lange s stillschweigend modernisieren, anstatt sie falsch zu interpretieren. Bibliotheken haben ein anderes Problem: Ihre Systeme erwarten ein Format mit Koordinaten auf Wortebene, und diese Modelle geben einfaches Markdown aus.
Was das für dich bedeutet: Wenn Sie jemals ein Dokument gescannt haben und mit dem verstümmelten Text zu kämpfen hatten, ist die praktische Neuigkeit, dass kostenlose Modelle diese Aufgabe jetzt gut erledigen und auf Ihrem eigenen Computer laufen. Der breitere Punkt ist schöner. FineBooks plant, etwa 200.000 gemeinfreie Dokumente aus der Biodiversity Heritage Library, die über 64 Millionen Seiten naturgeschichtlicher Natur enthält, erneut aufzubereiten und den sauberen Text offen zu veröffentlichen. Das ist eine stille, unscheinbare Verbesserung des Rohmaterials, aus dem jedes offene Modell gebaut ist, und die Art von Arbeit, die selten in einer Pressemitteilung veröffentlicht wird.
Quellen
Quellen: https://huggingface.co/blog/finebooks/historical-books-ocr-leaderboard
Meta hat ein 30B-Modell auf Ihren Laptop geladen und Zuckerberg nutzte die Markteinführung, um einen Kampf anzuzetteln
Muse Glimmer kann kostenlos heruntergeladen werden, läuft auf einer einzigen Consumer-Grafikkarte und schlägt größere Konkurrenten bei Agentenaufgaben. Der dazugehörige Aufsatz ist der interessantere Teil.
