Die ungelöste Herausforderung der OCR-Textbereinigung von Lebensmittelverpackungen

Jeden Tag greifen Millionen Muslime weltweit zu einem Lebensmittelprodukt, drehen es um und mustern die winzige Zutatenliste auf der Rückseite. Der Text ist oft in einen schmalen Bereich gequetscht, verläuft um gebogene Oberflächen, ist in geringem Kontrast gedruckt und manchmal teilweise durch Falten, Spiegelungen oder Beschädigungen verdeckt. Für einen Menschen ist das Lesen dieser Etiketten bereits eine Herausforderung. Für eine Maschine – für unsere OCR-Pipeline bei HalalLens – ist es ein Schlachtfeld, das wir noch nicht gewonnen haben.

Dieser Artikel ist ein ehrlicher Blick darauf, wo wir stehen. Wir haben ein System aufgebaut, das ein Lebensmitteletikett scannen, Text extrahieren, einzelne Zutaten identifizieren und ihren Halal-Status bestimmen kann – alles in Sekundenschnelle. Es funktioniert bemerkenswert gut bei sauberen, flachen, gut beleuchteten Etiketten. Aber Verpackungen in der realen Welt sind selten sauber, flach oder gut ausgeleuchtet. Die Lücke zwischen Laborgenauigkeit und Küchentheken-Realität ist der Ort, an dem unsere schwierigsten ungelösten Probleme liegen, und wir denken, unsere Nutzer haben das Recht, genau zu wissen, was diese Probleme sind.

Warum Lebensmittelverpackungen für OCR einzigartig schwierig sind

Die optische Zeichenerkennung hat große Fortschritte gemacht. Moderne OCR-Engines können gedruckte Dokumente mit nahezu perfekter Genauigkeit lesen. Aber ein Lebensmitteletikett ist kein Dokument. Es ist ein dreidimensionales Objekt, das unter unkontrollierten Bedingungen von einer Handykamera aus einem beliebigen Winkel fotografiert wird. Der Text kann in 4-Punkt-Schrift auf einer glänzenden Metallfolie gedruckt sein, wobei die Zutatenliste um eine Ecke herum weitergeht, die physikalisch unmöglich in einem einzigen Foto zu erfassen ist.

Nehmen Sie einen typischen Schokoriegel. Die Zutatenliste könnte lauten: "Zucker, Kakaobutter, Vollmilchpulver, Kakaomasse, Emulgator (E471), natürliche Aromen, Zitronensäure." Auf Papier ist das einfach. Auf einer gekrümmten, reflektierenden Verpackung, fotografiert unter fluoreszierender Supermarktbeleuchtung, könnte die OCR-Engine zurückgeben: "Zucker, coc0a butt3r, whol€ milk powdr, cocoa ma55, emulsifi€r (E47I), natural f1avors, citr1c ac1d." Jedes einzelne verstümmelte Zeichen ist eine potenzielle Fehlidentifikation – und bei der Halal-Verifizierung kann eine Fehlidentifikation den Unterschied bedeuten, ob ein Produkt als sicher oder verdächtig gekennzeichnet wird.

Das Bereinigungsproblem: Vom rohen OCR-Text zu nutzbaren Zutaten

Selbst wenn unsere OCR-Engine erfolgreich Text von einem Etikett extrahiert, ist der Rohausgang selten bereit für die Halal-Analyse. Der Text muss "bereinigt" werden – ein trügerisch einfaches Wort für einen enorm komplexen Prozess. Bereinigung bedeutet, die Zutatenliste von umgebendem Text wie Nährwertangaben, Allergenwarnungen und Marketingtext zu trennen. Es bedeutet, eine lange, kommagetrennte Zeichenkette in einzelne Zutaten aufzuspalten. Es bedeutet zu erkennen, dass "E471", "Emulgator (E471)" und "Mono- und Diglyceride von Speisefettsäuren" alle auf denselben Stoff verweisen.

Hier wird es wirklich schwierig. Lebensmitteletiketten folgen keinem universellen Format. In Europa werden Zutaten typischerweise in absteigender Reihenfolge ihres Gewichts aufgelistet, durch Kommas getrennt, mit Allergenen in Fettschrift. In den USA ist das Format ähnlich, aber die Allergenkennzeichnungsregeln unterscheiden sich. In Südostasien können Etiketten auf Malaiisch, Indonesisch, Arabisch und Englisch auf derselben Verpackung erscheinen. In skandinavischen Ländern finden Sie möglicherweise norwegische, schwedische, dänische und finnische Zutatenlisten übereinander gestapelt, wobei E-Nummern inkonsistent verwendet werden.

Unsere Pipeline verwendet derzeit eine Kombination aus regelbasiertem Parsing und LLM-gestützter Extraktion. Das regelbasierte System verarbeitet gut formatierte Etiketten zuverlässig: Finde "Zutaten:", teile bei Kommas, normalisiere jeden Eintrag. Aber es scheitert bei Randfällen – und in der realen Welt sind Randfälle die Mehrheit. Verschachtelte Zutaten in Klammern wie "Schokoladenüberzug (Zucker, Kakaobutter, Gelatine, Glycerin)" müssen korrekt geparst werden, um zu erkennen, dass Gelatine und Glycerin Unterzutaten des Überzugs sind, nicht eigenständige Bestandteile. Die korrekte Verarbeitung der Klammernverschachtelung ist überraschend fehleranfällig.

Das mehrsprachige Labyrinth

HalalLens bedient Nutzer in ganz Skandinavien, Südostasien, dem Nahen Osten und Westeuropa. Ein einziges, in einem norwegischen Supermarkt gescanntes Produkt kann seine Zutaten auf Norwegisch, Schwedisch, Dänisch und Finnisch aufgelistet haben – manchmal ergänzt um einen arabischen oder englischen Abschnitt. Unsere OCR-Engine muss den Text nicht nur korrekt lesen, sondern auch bestimmen, in welcher Sprache er verfasst ist, denn dasselbe physische Wort kann in verschiedenen Sprachen unterschiedliche Bedeutungen haben.

Der wahre Albtraum beginnt, wenn OCR-Fehler auf mehrsprachiges Parsing treffen. Wenn die Engine ein norwegisches "ø" fälschlich als "o" liest, könnte das Wort versehentlich in einer anderen Sprache gültig werden – aber mit einer völlig anderen Bedeutung. Unsere NLP-Bereinigungspipeline versucht zunächst, die Ausgangssprache zu erkennen und dann sprachspezifische Normalisierungsregeln anzuwenden, aber diese Erkennung selbst ist unzuverlässig, wenn der OCR-Text verstümmelt ist. Es wird zu einem zirkulären Problem: Man benötigt sauberen Text, um die Sprache zu erkennen, aber man benötigt die Sprache, um den Text zu bereinigen.

Wir haben mehrere Ansätze erprobt: OCR mit expliziten Sprachhinweisen laufen zu lassen, Ensemble-Modelle zu verwenden, die über die wahrscheinlichste Lesart abstimmen, und Nachbearbeitung mit LLMs, die darüber schlussfolgern können, was ein verstümmeltes Wort "wahrscheinlich" sein sollte. Jeder Ansatz verbessert die Genauigkeit schrittweise, aber keiner hat die grundlegende Herausforderung gelöst. Ein Produkt wie E120 (Karmin) kann auf demselben Etikett als "karmin" auf Norwegisch, "karmiini" auf Finnisch und "cochineal" auf Englisch aufgeführt sein – und alle müssen als dieselbe, für Halal kritische Zutat erkannt werden.

Wo wir heute stehen – und was als Nächstes kommt

Wir wollen transparent bezüglich unserer aktuellen Genauigkeit sein. Bei gut beleuchteten, flachen, kontrastreichen Etiketten in englischer Sprache erzielt unsere Pipeline starke Ergebnisse – die überwiegende Mehrheit der Zutaten wird korrekt identifiziert und klassifiziert. Bei mehrsprachigen, gekrümmten oder beschädigten Verpackungen sinkt die Genauigkeit merklich. Wir kompensieren dies mit Konfidenzbewertungen: Wenn das System sich bei einer OCR-Lesung oder einer Zutatenidentifikation unsicher ist, markiert es das Ergebnis und ermutigt den Nutzer, manuell eine Überprüfung vorzunehmen.

Unsere Roadmap zur Verbesserung der OCR-Bereinigung umfasst mehrere vielversprechende Richtungen. Erstens erforschen wir Vision-Language-Modelle – KI-Systeme, die das Rohbild betrachten und Kontext verstehen können, nicht nur einzelne Zeichen. Anstatt "ge1atin" zu lesen und es im Nachhinein zu korrigieren, könnte ein Vision-Language-Modell aus dem visuellen Kontext erkennen, dass es sich um eine Zutatenliste handelt und das Wort mit hoher Wahrscheinlichkeit "Gelatine" ist. Zweitens bauen wir eine wachsende Datenbank bekannter OCR-Fehllesarten auf – eine Fuzzy-Matching-Schicht, die häufige Fehler wie "E47l" basierend auf Mustern, die wir in Tausenden von Scans gesehen haben, auf "E471" zurückführt. Drittens investieren wir in Nutzer-Feedback-Schleifen, die es unserer Community ermöglichen, OCR-Fehler zu korrigieren, die das System dann trainieren, ähnliche Fehler in Zukunft zu vermeiden.

Keine dieser Lösungen wird perfekt sein. Die grundlegende Herausforderung, winzigen, gekrümmten, mehrsprachigen Text aus einem Handykamerafoto zu lesen, wird vielleicht nie vollständig gelöst werden – es ist ein Problem an der Schnittstelle von Optik, Typografie, Linguistik und kultureller Vielfalt, das an die Grenzen der aktuellen Technologie stößt. Aber wir glauben, dass ehrliche Kommunikation über diese Grenzen, kombiniert mit stetiger, schrittweiser Verbesserung, der richtige Ansatz ist. Jedes verstümmelte Etikett, das wir verarbeiten, lehrt unser System etwas Neues. Jede Nutzerkorrektur macht den nächsten Scan genauer.