Den olösta utmaningen med att rengöra OCR-text från livsmedelsförpackningar

Varje dag plockar miljontals muslimer runt om i världen upp en livsmedelsprodukt, vänder på den och kisar på den lilla ingredienslistan som är tryckt på baksidan. Texten är ofta inklämd på ett smalt fält, lindad runt böjda ytor, tryckt med låg kontrast och ibland delvis dold av veck, bländning eller skador. För en människa är det redan en utmaning att läsa dessa etiketter. För en maskin – för vår OCR-pipeline på HalalLens – är det ett slagfält vi ännu inte har vunnit.

Den här artikeln är en ärlig blick på var vi står. Vi har byggt ett system som kan skanna en livsmedelsetikett, extrahera text, identifiera enskilda ingredienser och avgöra deras halal-status – allt på några sekunder. Det fungerar anmärkningsvärt bra på rena, platta, väl upplysta etiketter. Men förpackningar i verkligheten är sällan rena, platta eller väl upplysta. Gapet mellan laboratorienoggrannhet och köksbordsverklighet är där våra svåraste olösta problem finns, och vi tycker att våra användare förtjänar att veta exakt vilka dessa problem är.

Varför livsmedelsförpackningar är unikt svåra för OCR

Optisk teckenigenkänning har kommit långt. Moderna OCR-motorer kan läsa tryckta dokument med nästan perfekt noggrannhet. Men en livsmedelsetikett är inte ett dokument. Det är ett tredimensionellt objekt fotograferat under okontrollerade förhållanden av en telefonkamera som hålls i en godtycklig vinkel. Texten kan vara tryckt i fyra punkts storlek på en blank metallfolie, med ingredienslistan som fortsätter runt ett hörn som är fysiskt omöjligt att fånga i ett enda fotografi.

Tänk på en typisk chokladkaka. Ingredienslistan kan lyder: "Socker, kakaosmör, helmjölkspulver, kakaomassa, emulgeringsmedel (E471), naturliga aromer, citronsyra." På papper är det enkelt. På en böjd, reflekterande folie fotograferad under lysrörsbelysning i en livsmedelsaffär, kan OCR-motorn returnera: "Socker, coc0a butt3r, whol€ mjölk powdr, cocoa ma55, emulsifi€r (E47I), natural f1avors, citr1c ac1d." Varje enda förvrängd karaktär är en potentiell felidentifiering – och i halal-verifiering kan en felidentifiering innebära skillnaden mellan att en produkt flaggas som säker eller misstänkt.

Rensningsproblemet: Från rå OCR till användbara ingredienser

Även när vår OCR-motor framgångsrikt extraherar text från en etikett är råutskriften sällan redo för halal-analys. Texten behöver "rensas" – ett bedrägligt enkelt ord för en oerhört komplex process. Rensning innebär att separera ingredienslistan från omgivande text som näringsinformation, allergeninformation och marknadsföringstext. Det innebär att dela upp en lång kommaseparerad sträng i enskilda ingredienser. Det innebär att känna igen att "E471" och "emulgeringsmedel (E471)" och "mono- och diglycerider av fettsyror" alla hänvisar till samma substans.

Det är här det blir genuint svårt. Livsmedelsetiketter följer inte ett universellt format. I Europa listas ingredienser typiskt i fallande ordning efter vikt, separerade med kommatecken, med allergener i fetstil. I USA är formatet liknande men reglerna för allergenmärkning skiljer sig. I Sydostasien kan etiketter finnas på malajiska, indonesiska, arabiska och engelska på samma förpackning. I Skandinavien kan du hitta norska, svenska, danska och finska ingredienslistor staplade ovanpå varandra, med E-nummer som används inkonsekvent.

Vår pipeline använder för närvarande en kombination av regelbaserad tolkning och LLM-assisterad extrahering. Det regelbaserade systemet hanterar välformaterade etiketter pålitligt: hitta "Ingredients:", dela vid kommatecken, normalisera varje post. Men det misslyckas med specialfall – och i verkligheten utgör specialfallen majoriteten. Kapslade ingredienser inom parentes som "chokladöverdrag (socker, kakaosmör, gelatin, glycerin)" måste tolkas korrekt för att identifiera att gelatin och glycerin är sub-ingredienser i överdraget, inte fristående ingredienser. Att få parenteskapslingen rätt är överraskande ömtåligt.

Den Flerspråkiga Labyrinten

HalalLens betjänar användare över hela Skandinavien, Sydostasien, Mellanöstern och Västeuropa. En enda produkt skannad i en norsk livsmedelsaffär kan ha sina ingredienser listade på norska, svenska, danska och finska — ibland med ett arabiskt eller engelskt avsnitt också. Vår OCR-motor måste inte bara läsa texten korrekt utan också avgöra vilket språk den tittar på, för samma fysiska ord kan betyda olika saker på olika språk.

Den riktiga mardrömmen börjar när OCR-fel interagerar med flerspråkig tolkning. Om motorn läser ett norskt "ø" fel som ett "o", kan ordet av misstag bli giltigt på ett annat språk — men med en helt annan betydelse. Vår NLP-reningspipeline försöker först upptäcka källspråket och sedan tillämpa språkspecifika normaliseringsregler, men denna detektering i sig är opålitlig när OCR-texten är förvrängd. Det blir ett cirkulärt problem: du behöver ren text för att upptäcka språket, men du behöver språket för att rena texten.

Vi har experimenterat med flera tillvägagångssätt: att köra OCR med explicita språktips, använda ensemblemodeller som röstar på den mest sannolika läsningen, och efterbehandla med LLM:er som kan resonera kring vad ett förvrängt ord "förmodligen" skulle vara. Varje tillvägagångssätt förbättrar noggrannheten stegvis, men ingen har löst den grundläggande utmaningen. En produkt som E120 (karmin) kan listas som "karmin" på norska, "karmiini" på finska och "cochineal" på engelska — allt på samma etikett, och alla måste erkännas som samma halalkritiska ingrediens.

Var Vi Står Idag — Och Vad Som Kommer Härnäst

Vi vill vara transparenta om vår nuvarande noggrannhet. På välbelysta, platta, högkontrastetiketter på engelska uppnår vår pipeline starka resultat — korrekt identifierar och klassificerar den stora majoriteten av ingredienser. På flerspråkiga, böjda eller skadade förpackningar sjunker noggrannheten märkbart. Vi kompenserar för detta med konfidensbedömning: när systemet är osäkert på en OCR-läsning eller en ingrediensidentifiering flaggar det resultatet och uppmuntrar användaren att dubbelkolla manuellt.

Vår färdplan för att förbättra OCR-rensning inkluderar flera lovande riktningar. Först utforskar vi vision-language-modeller — AI-system som kan titta på råbilden och förstå kontext, inte bara enskilda tecken. Istället för att läsa "ge1atin" och försöka fixa det efteråt, kan en vision-language-modell känna igen från den visuella kontexten att detta är en ingredienslista och att ordet nästan säkert är "gelatin". För det andra bygger vi en växande databas med kända OCR-felläsningar — ett fuzzy matching-lager som mappar vanliga fel som "E47l" tillbaka till "E471" baserat på mönster vi har sett över tusentals skanningar. För det tredje investerar vi i användarfeedback-loopar, vilket tillåter vår community att korrigera OCR-fel som sedan tränar systemet att undvika liknande misstag i framtiden.

Ingen av dessa lösningar kommer att vara perfekt. Den grundläggande utmaningen med att läsa mycket liten, böjd, flerspråkig text från ett fotografi taget med en mobilkamera kanske aldrig helt löses — det är ett problem i skärningspunkten mellan optik, typografi, lingvistik och kulturell variation som pressar mot gränserna för dagens teknologi. Men vi tror att ärlig kommunikation om dessa begränsningar, kombinerat med stadig stegvis förbättring, är det rätta tillvägagångssättet. Varje förvrängd etikett vi bearbetar lär vårt system något nytt. Varje användarkorrigering gör nästa skanning mer exakt.