De onopgeloste uitdaging van het opschonen van OCR-tekst van voedselverpakkingen

Elke dag pakken miljoenen moslims over de hele wereld een voedingsproduct op, draaien het om en turen naar de kleine ingrediëntenlijst die op de achterkant is afgedrukt. De tekst is vaak samengeperst in een smal paneel, gewikkeld rond gebogen oppervlakken, afgedrukt met laag contrast en soms gedeeltelijk verborgen door vouwen, schittering of beschadiging. Voor een mens is het lezen van deze etiketten al een uitdaging. Voor een machine — voor onze OCR-pijplijn bij HalalLens — is het een slagveld dat we nog niet hebben gewonnen.

Dit artikel is een eerlijke blik op waar we staan. We hebben een systeem gebouwd dat een voedseletiket kan scannen, tekst kan extraheren, individuele ingrediënten kan identificeren en hun halal-status kan bepalen — allemaal in een paar seconden. Het werkt opmerkelijk goed op schone, vlakke, goed verlichte etiketten. Maar verpakkingen in de echte wereld zijn zelden schoon, vlak of goed verlicht. De kloof tussen laboratoriumnauwkeurigheid en de realiteit op het aanrecht is waar onze moeilijkste onopgeloste problemen leven, en we denken dat onze gebruikers precies verdienen te weten wat die problemen zijn.

Waarom Voedselverpakkingen Uniek Moeilijk Zijn voor OCR

Optical Character Recognition heeft een lange weg afgelegd. Moderne OCR-engines kunnen gedrukte documenten lezen met bijna perfecte nauwkeurigheid. Maar een voedseletiket is geen document. Het is een driedimensionaal object dat onder ongecontroleerde omstandigheden wordt gefotografeerd door een telefooncamera die onder een willekeurige hoek wordt gehouden. De tekst kan zijn afgedrukt in een lettergrootte van vier punten op een glanzende metalen verpakking, waarbij de ingrediëntenlijst verdergaat rond een hoek die fysiek onmogelijk in één foto vast te leggen is.

Neem een typische chocoladereep. De ingrediëntenlijst zou kunnen zijn: "Suiker, cacaoboter, volle melkpoeder, cacaomassa, emulgator (E471), natuurlijke aroma's, citroenzuur." Op papier is dat eenvoudig. Op een gebogen, reflecterende verpakking gefotografeerd onder tl-licht in de supermarkt, kan de OCR-engine teruggeven: "Suiker, coc0a butt3r, whol€ milk powdr, cocoa ma55, emulsifi€r (E47I), natural f1avors, citr1c ac1d." Elk vervormd karakter is een potentiële verkeerde identificatie — en bij halal-verificatie kan een verkeerde identificatie het verschil betekenen tussen een product dat als veilig of verdacht wordt gemarkeerd.

Het Schoonmaakprobleem: Van Rauwe OCR naar Bruikbare Ingrediënten

Zelfs wanneer onze OCR-engine met succes tekst van een etiket extraheert, is de ruwe output zelden klaar voor halal-analyse. De tekst moet worden "opgeschoond" — een bedrieglijk eenvoudig woord voor een enorm complex proces. Opschonen betekent de ingrediëntenlijst scheiden van omringende tekst zoals voedingsinformatie, allergiewaarschuwingen en marketingtekst. Het betekent een lange door komma's gescheiden reeks opsplitsen in individuele ingrediënten. Het betekent herkennen dat "E471" en "emulgator (E471)" en "mono- en diglyceriden van vetzuren" allemaal naar dezelfde stof verwijzen.

Dit is waar het echt moeilijk wordt. Voedseletiketten volgen geen universeel formaat. In Europa worden ingrediënten meestal in aflopende volgorde van gewicht vermeld, gescheiden door komma's, met allergenen in vetgedrukt. In de Verenigde Staten is het formaat vergelijkbaar, maar de regels voor allergenenetikettering verschillen. In Zuidoost-Azië kunnen etiketten in het Maleis, Indonesisch, Arabisch en Engels op dezelfde verpakking voorkomen. In Scandinavische landen vind je misschien Noorse, Zweedse, Deense en Finse ingrediëntenlijsten bovenop elkaar gestapeld, waarbij E-nummers inconsistent worden gebruikt.

Onze pijplijn gebruikt momenteel een combinatie van regelgebaseerd parsen en LLM-gestuurde extractie. Het regelgebaseerde systeem behandelt goed geformatteerde etiketten betrouwbaar: vind "Ingrediënten:", splits op komma's, normaliseer elk item. Maar het faalt bij uitzonderingen — en in de echte wereld zijn uitzonderingen de meerderheid. Geneste ingrediënten tussen haakjes zoals "chocoladecoating (suiker, cacaoboter, gelatine, glycerine)" moeten correct worden geparsed om te identificeren dat gelatine en glycerine sub-ingrediënten van de coating zijn, geen zelfstandige items. Het correct krijgen van de haakjesnesting is verrassend kwetsbaar.

Het Meertalige Doolhof

HalalLens dient gebruikers in heel Scandinavië, Zuidoost-Azië, het Midden-Oosten en West-Europa. Een enkel product dat in een Noorse supermarkt wordt gescand, kan zijn ingrediënten vermeld hebben in het Noors, Zweeds, Deens en Fins — soms met ook een Arabisch of Engels gedeelte. Onze OCR-engine moet niet alleen de tekst correct lezen, maar ook bepalen naar welke taal hij kijkt, omdat hetzelfde fysieke woord verschillende dingen kan betekenen in verschillende talen.

De echte nachtmerrie begint wanneer OCR-fouten interacteren met meertalige parsing. Als de engine een Noorse "ø" verkeerd leest als een "o", kan het woord per ongeluk geldig worden in een andere taal — maar met een volledig andere betekenis. Onze NLP-opschoningspipeline probeert eerst de brontaal te detecteren en vervolgens taalspecifieke normalisatieregels toe te passen, maar deze detectie zelf is onbetrouwbaar wanneer de OCR-tekst vervormd is. Het wordt een circulair probleem: je hebt schone tekst nodig om de taal te detecteren, maar je hebt de taal nodig om de tekst op te schonen.

We hebben meerdere benaderingen uitgeprobeerd: OCR uitvoeren met expliciete taalhints, ensemble-modellen gebruiken die stemmen over de meest waarschijnlijke lezing, en nabewerking met LLM's die kunnen redeneren over wat een vervormd woord "waarschijnlijk" had moeten zijn. Elke benadering verbetert de nauwkeurigheid stapsgewijs, maar geen enkele heeft de fundamentele uitdaging opgelost. Een product zoals E120 (karmijn) kan vermeld staan als "karmin" in het Noors, "karmiini" in het Fins, en "cochineal" in het Engels — allemaal op hetzelfde etiket, en allemaal moeten worden herkend als hetzelfde halal-kritieke ingrediënt.

Waar We Nu Staan — En Wat Er Komt

We willen transparant zijn over onze huidige nauwkeurigheid. Op goed verlichte, vlakke, hoogcontrast etiketten in het Engels behaalt onze pipeline sterke resultaten — het correct identificeren en classificeren van de overgrote meerderheid van ingrediënten. Op meertalige, gebogen of beschadigde verpakkingen daalt de nauwkeurigheid merkbaar. We compenseren dit met betrouwbaarheidsscores: wanneer het systeem onzeker is over een OCR-lezing of een ingrediëntidentificatie, markeert het het resultaat en moedigt het de gebruiker aan om handmatig te controleren.

Onze roadmap voor het verbeteren van OCR-opschoning omvat verschillende veelbelovende richtingen. Ten eerste verkennen we vision-language modellen — AI-systemen die naar de ruwe afbeelding kunnen kijken en context kunnen begrijpen, niet alleen individuele karakters. In plaats van "ge1atin" te lezen en het achteraf te proberen te repareren, zou een vision-language model uit de visuele context kunnen herkennen dat dit een ingrediëntenlijst is en het woord vrijwel zeker "gelatine" is. Ten tweede bouwen we een groeiende database van bekende OCR-verkeerde lezingen — een fuzzy matching-laag die veelvoorkomende fouten zoals "E47l" terugmapt naar "E471" op basis van patronen die we hebben gezien in duizenden scans. Ten derde investeren we in gebruikersfeedback-lussen, waardoor onze gemeenschap OCR-fouten kan corrigeren die het systeem vervolgens trainen om vergelijkbare fouten in de toekomst te vermijden.

Geen van deze oplossingen zal perfect zijn. De fundamentele uitdaging van het lezen van minuscule, gebogen, meertalige tekst van een foto gemaakt met een telefooncamera zal misschien nooit volledig worden opgelost — het is een probleem op het snijvlak van optica, typografie, taalkunde en culturele variatie dat de grenzen van de huidige technologie opzoekt. Maar we geloven dat eerlijke communicatie over deze beperkingen, gecombineerd met gestage incrementele verbetering, de juiste aanpak is. Elk vervormd etiket dat we verwerken leert ons systeem iets nieuws. Elke gebruikerscorrectie maakt de volgende scan nauwkeuriger.