Den uløste utfordringen med å rense OCR-tekst fra matemballasje

Hver dag plukker millioner av muslimer over hele verden opp et matprodukt, snur det på baksiden, og kikker på den lille ingredienslisten som er trykt der. Teksten er ofte presset inn i et smalt felt, viklet rundt kurvede overflater, trykt med lav kontrast, og noen ganger delvis skjult av folder, gjenskinn eller skader. For et menneske er det allerede en utfordring å lese disse etikettene. For en maskin — for vår OCR-pipeline hos HalalLens — er det et slagmark vi ennå ikke har vunnet.

Denne artikkelen er et ærlig blikk på hvor vi står. Vi har bygget et system som kan skanne en matvareetikett, trekke ut tekst, identifisere enkeltingredienser og fastslå deres halal-status — alt på noen få sekunder. Det fungerer bemerkelsesverdig bra på rene, flate, godt opplyste etiketter. Men emballasje i den virkelige verden er sjelden ren, flat eller godt opplyst. Gapet mellom laboratorienøyaktighet og kjøkkenbenk-virkelighet er der våre vanskeligste uløste problemer befinner seg, og vi mener våre brukere fortjener å vite nøyaktig hva disse problemene er.

Hvorfor Matemballasje Er Unikt Vanskelig for OCR

Optisk Tegngjenkjenning har kommet langt. Moderne OCR-motorer kan lese trykte dokumenter med nesten perfekt nøyaktighet. Men en matvareetikett er ikke et dokument. Det er et tredimensjonalt objekt fotografert under ukontrollerte forhold av et telefonkamera holdt i en vilkårlig vinkel. Teksten kan være trykt i firepunkts skrift på en skinnende metallfolie, med ingredienslisten som fortsetter rundt et hjørne som er fysisk umulig å fange på et enkelt fotografi.

Tenk på en typisk sjokoladeplate. Ingredienslisten kan lyde: "Sukker, kakaosmør, helmelkepulver, kakaomasse, emulgator (E471), naturlige aromaer, sitronsyre." På papir er det greit. På en buet, reflekterende folie fotografert under fluorescerende butikkbelysning, kan OCR-motoren returnere: "Sukker, kaka0 sm0r, helmelkep0wder, kaka0 ma55, emulgat0r (E47I), naturlige f1avorer, sitr1nsyre." Hvert eneste forvrengte tegn er en potensiell feilidentifikasjon — og i halal-verifisering kan en feilidentifikasjon bety forskjellen mellom at et produkt flagges som trygt eller mistenkelig.

Rensingsproblemet: Fra Rå OCR til Brukbare Ingredienser

Selv når vår OCR-motor med hell trekker ut tekst fra en etikett, er råutdataene sjelden klare for halal-analyse. Teksten må "renses" — et bedragersk enkelt ord for en enormt kompleks prosess. Rensing betyr å skille ingredienslisten fra omkringliggende tekst som næringsinnhold, allergenadvarsler og markedsføringstekst. Det betyr å dele en lang komma-separert streng i enkeltingredienser. Det betyr å gjenkjenne at "E471" og "emulgator (E471)" og "mono- og diglycerider av fettsyrer" alle refererer til samme stoff.

Det er her ting blir virkelig vanskelige. Matvareetiketter følger ikke et universelt format. I Europa listes ingredienser typisk i synkende vektrekkefølge, separert med komma, med allergener i fet skrift. I USA er formatet likt, men reglene for allergenmerking er forskjellige. I Sørøst-Asia kan etiketter vises på malay, indonesisk, arabisk og engelsk på samme pakke. I Skandinavia kan du finne norske, svenske, danske og finske ingredienslister stablet oppå hverandre, med E-numre brukt inkonsekvent.

Vår pipeline bruker for tiden en kombinasjon av regelbasert analyse og LLM-assistert uttrekking. Det regelbaserte systemet håndterer godt formaterte etiketter pålitelig: finn "Ingredienser:", del på komma, normaliser hver oppføring. Men det svikter på edge cases — og i den virkelige verden er edge cases flertallet. Innestedde ingredienser i parentes som "sjokoladetrekk (sukker, kakaosmør, gelatin, glycerin)" må analyseres korrekt for å identifisere at gelatin og glycerin er underingredienser i trekket, ikke frittstående elementer. Å få den innestedde parentesen riktig er overraskende skjør.

Den flerspråklige labyrinten

HalalLens betjener brukere over hele Skandinavia, Sørøst-Asia, Midtøsten og Vest-Europa. Et enkelt produkt skannet i en norsk dagligvarebutikk kan ha ingrediensene sine oppført på norsk, svensk, dansk og finsk — noen ganger med en arabisk eller engelsk seksjon også. Vår OCR-motor må ikke bare lese teksten riktig, men også avgjøre hvilket språk den ser på, fordi det samme fysiske ordet kan bety forskjellige ting på forskjellige språk.

Det virkelige marerittet begynner når OCR-feil samhandler med flerspråklig parsing. Hvis motoren feilleser en norsk "ø" som en "o", kan ordet ved et uhell bli gyldig på et annet språk — men med en helt annen betydning. Vår NLP-rensepipeline forsøker å oppdage kildespråket først og deretter bruke språkspesifikke normaliseringsregler, men denne oppdagelsen i seg selv er upålitelig når OCR-teksten er forvrengt. Det blir et sirkulært problem: du trenger ren tekst for å oppdage språket, men du trenger språket for å rense teksten.

Vi har eksperimentert med flere tilnærminger: kjøre OCR med eksplisitte språktips, bruke ensemble-modeller som stemmer over den mest sannsynlige lesemåten, og etterbehandling med LLM-er som kan resonnere om hva et forvrengt ord "sannsynligvis" skulle være. Hver tilnærming forbedrer nøyaktigheten trinnvis, men ingen har løst den grunnleggende utfordringen. Et produkt som E120 (karmin) kan være oppført som "karmin" på norsk, "karmiini" på finsk, og "cochineal" på engelsk — alt på samme etikett, og alle må gjenkjennes som den samme halal-kritiske ingrediensen.

Hvor vi står i dag — og hva som kommer videre

Vi ønsker å være åpne om vår nåværende nøyaktighet. På godt opplyste, flate, høykontrast etiketter på engelsk, oppnår vår pipeline gode resultater — den identifiserer og klassifiserer riktig de aller fleste ingredienser. På flerspråklig, buet eller skadet emballasje, synker nøyaktigheten merkbar. Vi kompenserer for dette med tillitsscoring: når systemet er usikker på en OCR-lesing eller en ingrediensidentifikasjon, flagges resultatet og brukeren oppfordres til å dobbeltsjekke manuelt.

Vår roadmap for å forbedre OCR-rens inkluderer flere lovende retninger. For det første utforsker vi vision-language-modeller — AI-systemer som kan se på råbildet og forstå kontekst, ikke bare enkeltegn. I stedet for å lese "ge1atin" og prøve å fikse det etterpå, kan en vision-language-modell gjenkjenne fra den visuelle konteksten at dette er en ingrediensliste og at ordet nesten helt sikkert er "gelatin". For det andre bygger vi en voksende database med kjente OCR-feillesinger — et fuzzy matching-lag som kartlegger vanlige feil som "E47l" tilbake til "E471" basert på mønstre vi har sett over tusenvis av skanninger. For det tredje investerer vi i brukerfeedback-løkker, som lar vårt fellesskap korrigere OCR-feil som deretter trener systemet til å unngå lignende feil i fremtiden.

Ingen av disse løsningene vil være perfekte. Den grunnleggende utfordringen med å lese liten, buet, flerspråklig tekst fra et mobilkamerafotografi kan aldri bli fullstendig løst — det er et problem i skjæringspunktet mellom optikk, typografi, lingvistikk og kulturell variasjon som presser mot grensene for dagens teknologi. Men vi tror at ærlig kommunikasjon om disse begrensningene, kombinert med jevn trinnvis forbedring, er den riktige tilnærmingen. Hver forvrengt etikett vi behandler lærer systemet vårt noe nytt. Hver brukerkorreksjon gjør neste skanning mer nøyaktig.