Gıda Ambalajlarından OCR Metin Temizlemenin Çözülmemiş Zorluğu

Her gün, dünyanın dört bir yanındaki milyonlarca Müslüman bir gıda ürününü eline alır, çevirir ve arkasında basılı küçük malzeme listesini gözlerini kısarak inceler. Metin genellikle dar bir panele sıkıştırılmış, kavisli yüzeyler etrafında sarılmış, düşük kontrastla basılmış ve bazen kıvrımlar, parlamalar veya hasar nedeniyle kısmen gizlenmiş durumdadır. Bir insan için bu etiketleri okumak zaten bir meydan okumadır. Bir makine için — HalalLens'teki OCR işlem hattımız için — bu henüz kazanmadığımız bir savaş alanıdır.

Bu makale, bulunduğumuz noktaya dair samimi bir bakıştır. Bir gıda etiketini tarayabilen, metni çıkarabilen, tek tek bileşenleri tanımlayabilen ve helal durumlarını belirleyebilen bir sistem inşa ettik — hepsi saniyeler içinde. Temiz, düz, iyi aydınlatılmış etiketlerde oldukça iyi çalışıyor. Ancak gerçek dünya ambalajları nadiren temiz, düz veya iyi aydınlatılmış olur. Laboratuvar doğruluğu ile mutfak tezgahı gerçekliği arasındaki boşluk, çözülmemiş en zor problemlerimizin yaşadığı yerdir ve kullanıcılarımızın bu problemlerin tam olarak ne olduğunu bilmeyi hak ettiğini düşünüyoruz.

Gıda Ambalajı Neden OCR İçin Benzersiz Şekilde Zordur

Optik Karakter Tanıma (OCR) uzun bir yol kat etti. Modern OCR motorları basılı belgeleri neredeyse mükemmel doğrulukla okuyabilir. Ancak bir gıda etiketi bir belge değildir. Rastgele bir açıda tutulan bir telefon kamerasıyla kontrolsüz koşullar altında fotoğraflanmış üç boyutlu bir nesnedir. Metin, parlak metalik bir ambalaj üzerine dört punto yazı tipiyle basılmış olabilir ve malzeme listesi fiziksel olarak tek bir fotoğrafta yakalanması imkansız bir köşenin etrafında devam edebilir.

Tipik bir çikolata barını düşünün. Malzeme listesi şöyle okuyabilir: "Şeker, kakao yağı, tam yağlı süt tozu, kakao kitlesi, emülgatör (E471), doğal aromalar, sitrik asit." Kağıt üzerinde bu basittir. Ancak kavisli, yansıtıcı bir ambalajda, floresan market aydınlatması altında fotoğraflandığında, OCR motoru şunu döndürebilir: "Şeker, coc0a butt3r, whol€ milk powdr, cocoa ma55, emulsifi€r (E47I), natural f1avors, citr1c ac1d." Bozulan her bir karakter potansiyel bir yanlış tanımlamadır — ve helal doğrulamasında, bir yanlış tanımlama bir ürünün güvenli veya şüpheli olarak işaretlenmesi arasındaki fark anlamına gelebilir.

Temizleme Problemi: Ham OCR'den Kullanılabilir Bileşenlere

OCR motorumuz bir etiketten metni başarıyla çıkardığında bile, ham çıktı nadiren helal analizi için hazırdır. Metnin "temizlenmesi" gerekiyor — son derece karmaşık bir süreç için aldatıcı derecede basit bir kelime. Temizleme, bileşen listesini besin değerleri bilgisi, alerjen uyarıları ve pazarlama metni gibi çevreleyen metinlerden ayırmak anlamına gelir. Uzun, virgülle ayrılmış bir dizgiyi tek tek bileşenlere bölmek anlamına gelir. "E471", "emülgatör (E471)" ve "yağ asitlerinin mono- ve digliseritleri"nin hepsinin aynı maddeye atıfta bulunduğunu tanımak anlamına gelir.

İşler burada gerçekten zorlaşıyor. Gıda etiketleri evrensel bir format izlemez. Avrupa'da bileşenler genellikle ağırlıkça azalan sırayla listelenir, virgüllerle ayrılır ve alerjenler kalın yazılır. Amerika Birleşik Devletleri'nde format benzerdir ancak alerjen etiketleme kuralları farklıdır. Güneydoğu Asya'da, etiketlerde aynı pakette Malayca, Endonezce, Arapça ve İngilizce metinler bulunabilir. İskandinav ülkelerinde, Norveççe, İsveççe, Danca ve Fince bileşen listelerinin üst üste istiflendiğini, E-kodlarının tutarsız kullanıldığını görebilirsiniz.

İşlem hattımız şu anda kural tabanlı ayrıştırma ve LLM destekli çıkarma kombinasyonunu kullanıyor. Kural tabanlı sistem iyi biçimlendirilmiş etiketleri güvenilir şekilde işler: "İçindekiler:" ifadesini bul, virgüllere göre böl, her girdiyi normalleştir. Ancak sınır durumlarında başarısız olur — ve gerçek dünyada sınır durumları çoğunluktadır. "çikolata kaplama (şeker, kakao yağı, jelatin, gliserin)" gibi iç içe geçmiş parantezli bileşenler, jelatin ve gliserinin kaplamanın alt bileşenleri olduğunu, bağımsız maddeler olmadığını doğru şekilde tanımak için doğru ayrıştırılmalıdır. Parantez içi yuvalamayı doğru yapmak şaşırtıcı derecede kırılgandır.

Çok Dilli Labirent

HalalLens, İskandinavya, Güneydoğu Asya, Orta Doğu ve Batı Avrupa'daki kullanıcılara hizmet veriyor. Norveç'teki bir markette taranan tek bir ürünün içerikleri Norveççe, İsveççe, Danca ve Fince listelenmiş olabilir — bazen Arapça veya İngilizce bir bölüm de bulunur. OCR motorumuz sadece metni doğru okumakla kalmamalı, aynı zamanda hangi dilde olduğunu da belirlemelidir, çünkü aynı fiziksel kelime farklı dillerde farklı anlamlara gelebilir.

Asıl kabus, OCR hataları çok dilli ayrıştırmayla etkileşime girdiğinde başlar. Motor Norveççe bir "ø" harfini "o" olarak yanlış okursa, kelime kazara başka bir dilde geçerli hale gelebilir — ancak tamamen farklı bir anlamla. NLP temizleme işlem hattımız önce kaynak dili tespit etmeye, ardından dile özgü normalleştirme kurallarını uygulamaya çalışır, ancak OCR metni bozuk olduğunda bu tespitin kendisi güvenilmezdir. Bu döngüsel bir sorun haline gelir: dili tespit etmek için temiz metne ihtiyacınız vardır, ancak metni temizlemek için dile ihtiyacınız vardır.

Birden fazla yaklaşım denedik: açık dil ipuçlarıyla OCR çalıştırmak, en olası okuma üzerinde oy veren topluluk modelleri kullanmak ve bozuk bir kelimenin "muhtemelen" ne olması gerektiği hakkında akıl yürütebilen Büyük Dil Modelleri (LLM'ler) ile son işleme. Her yaklaşım doğruluğu kademeli olarak artırır, ancak hiçbiri temel zorluğu çözmemiştir. E120 (karmin) gibi bir ürün, aynı etikette Norveççe "karmin", Fince "karmiini" ve İngilizce "cochineal" olarak listelenebilir — ve hepsinin aynı helal açısından kritik bileşen olarak tanınması gerekir.

Bugün Neredeyiz — Ve Sırada Ne Var

Mevcut doğruluğumuz konusunda şeffaf olmak istiyoruz. İyi aydınlatılmış, düz, yüksek kontrastlı İngilizce etiketlerde işlem hattımız güçlü sonuçlar elde ediyor — içeriklerin büyük çoğunluğunu doğru şekilde tanımlıyor ve sınıflandırıyor. Çok dilli, kavisli veya hasarlı ambalajlarda doğruluk gözle görülür şekilde düşüyor. Bunu güven puanlamasıyla telafi ediyoruz: sistem bir OCR okuması veya bileşen tanımlaması konusunda emin olmadığında, sonucu işaretliyor ve kullanıcıyı manuel olarak tekrar kontrol etmeye teşvik ediyor.

OCR temizlemesini iyileştirmek için yol haritamız birkaç umut verici yön içeriyor. İlk olarak, görü-dil modellerini araştırıyoruz — ham görsele bakıp bağlamı anlayabilen, sadece tek tek karakterleri değil, yapay zeka sistemleri. "ge1atin"i okuduktan sonra düzeltmeye çalışmak yerine, bir görü-dil modeli görsel bağlamdan bunun bir içerik listesi olduğunu ve kelimenin neredeyse kesinlikle "jelatin" olduğunu tanıyabilir. İkinci olarak, bilinen OCR yanlış okumalarının büyüyen bir veritabanı oluşturuyoruz — binlerce taramada gördüğümüz kalıplara dayanarak "E47l" gibi yaygın hataları "E471" ile eşleştiren bulanık bir eşleştirme katmanı. Üçüncü olarak, kullanıcı geri bildirim döngülerine yatırım yapıyoruz; topluluğumuzun OCR hatalarını düzeltmesine izin vererek, sistemin gelecekte benzer hatalardan kaçınmasını sağlıyoruz.

Bu çözümlerin hiçbiri mükemmel olmayacak. Bir telefon kamerası fotoğrafından küçük, kavisli, çok dilli metin okuma temel zorluğu asla tamamen çözülemeyebilir — bu, optik, tipografi, dilbilim ve kültürel çeşitlilik kesişiminde yer alan ve mevcut teknolojinin sınırlarını zorlayan bir problemdir. Ancak bu sınırlamalar hakkında dürüst iletişimin, istikrarlı kademeli iyileştirmelerle birleştiğinde doğru yaklaşım olduğuna inanıyoruz. İşlediğimiz her bozuk etiket sistemimize yeni bir şey öğretiyor. Her kullanıcı düzeltmesi bir sonraki taramayı daha doğru hale getiriyor.