Cabaran Belum Selesai dalam Pembersihan Teks OCR daripada Pembungkusan Makanan

Setiap hari, berjuta-juta umat Islam di seluruh dunia mengambil produk makanan, membalikkannya, dan menyepetkan mata melihat senarai bahan kecil yang tercetak di belakang. Teksnya selalunya tersepit dalam panel sempit, melilit permukaan melengkung, dicetak dengan kontras rendah, dan kadangkala sebahagiannya terlindung oleh lipatan, silau, atau kerosakan. Bagi manusia, membaca label ini sudah mencabar. Bagi mesin — bagi saluran OCR kami di HalalLens — ia adalah medan pertempuran yang kami belum menangi.

Artikel ini adalah pandangan jujur tentang di mana kami berdiri. Kami telah membina sistem yang boleh mengimbas label makanan, mengekstrak teks, mengenal pasti bahan individu, dan menentukan status halalnya — semuanya dalam beberapa saat sahaja. Ia berfungsi dengan sangat baik pada label yang bersih, rata, dan bercahaya baik. Tetapi pembungkusan dunia sebenar jarang bersih, rata, atau bercahaya baik. Jurang antara ketepatan makmal dan realiti di atas kaunter dapur adalah tempat masalah paling sukar yang belum diselesaikan kami wujud, dan kami rasa pengguna kami berhak tahu dengan tepat apakah masalah-masalah itu.

Mengapa Pembungkusan Makanan Unik Sukar untuk OCR

Pengenalpastian Aksara Optik telah berkembang jauh. Enjin OCR moden boleh membaca dokumen tercetak dengan ketepatan hampir sempurna. Tetapi label makanan bukanlah dokumen. Ia adalah objek tiga dimensi yang difotograf dalam keadaan tidak terkawal oleh kamera telefon yang dipegang pada sudut rawak. Teks mungkin dicetak dalam fon saiz empat mata pada pembalut logam berkilat, dengan senarai bahan bersambung di selekoh yang mustahil untuk ditangkap dalam satu gambar.

Pertimbangkan bar coklat biasa. Senarai bahan mungkin berbunyi: "Gula, mentega koko, serbuk susu penuh, jisim koko, pengemulsi (E471), perisa semula jadi, asid sitrik." Di atas kertas, itu mudah. Pada pembalut melengkung dan berkilat yang difotograf di bawah lampu kedai runcit pendarfluor, enjin OCR mungkin mengembalikan: "Gula, mentega k0k0, serbuk susu penuh, jisim k0k0, pengemuls1 (E47I), perisa semulajad1, as1d s1tr1k." Setiap aksara yang rosak adalah potensi salah pengenalan — dan dalam pengesahan halal, salah pengenalan boleh bermaksud perbezaan antara produk ditanda sebagai selamat atau mencurigakan.

Masalah Pembersihan: Dari OCR Mentah kepada Bahan Boleh Guna

Walaupun enjin OCR kami berjaya mengekstrak teks dari label, output mentah jarang sedia untuk analisis halal. Teks perlu "dibersihkan" — perkataan yang nampak mudah untuk proses yang sangat kompleks. Pembersihan bermaksud memisahkan senarai bahan dari teks sekeliling seperti maklumat pemakanan, amaran alergen, dan salinan pemasaran. Ia bermaksud membahagikan rentetan panjang yang dipisahkan koma kepada bahan individu. Ia bermaksud mengenali bahawa "E471" dan "pengemulsi (E471)" dan "mono- dan digliserida asid lemak" semuanya merujuk kepada bahan yang sama.

Di sinilah perkara menjadi benar-benar sukar. Label makanan tidak mengikut format sejagat. Di Eropah, bahan biasanya disenaraikan mengikut turutan berat menurun, dipisahkan oleh koma, dengan alergen dalam tebal. Di Amerika Syarikat, formatnya serupa tetapi peraturan pelabelan alergen berbeza. Di Asia Tenggara, label mungkin muncul dalam bahasa Melayu, Indonesia, Arab, dan Inggeris pada bungkusan yang sama. Di negara-negara Skandinavia, anda mungkin menemui senarai bahan dalam bahasa Norway, Sweden, Denmark, dan Finland bertindih antara satu sama lain, dengan nombor E digunakan secara tidak konsisten.

Saluran kami kini menggunakan gabungan penghuraian berasaskan peraturan dan pengekstrakan dibantu LLM. Sistem berasaskan peraturan mengendalikan label berformat baik dengan boleh dipercayai: cari "Bahan:", bahagikan pada koma, normalisasikan setiap entri. Tetapi ia gagal pada kes tepi — dan dalam dunia sebenar, kes tepi adalah majoriti. Bahan dalam kurungan bersarang seperti "salutan coklat (gula, mentega koko, gelatin, gliserin)" mesti dihuraikan dengan betul untuk mengenal pasti bahawa gelatin dan gliserin adalah sub-bahan salutan, bukan item berdiri sendiri. Mendapatkan sarangan kurungan yang betul adalah sangat rapuh.

Labirin Pelbagai Bahasa

HalalLens melayani pengguna di seluruh Scandinavia, Asia Tenggara, Timur Tengah, dan Eropah Barat. Satu produk yang diimbas di kedai runcit Norway mungkin mempunyai ramuannya disenaraikan dalam bahasa Norway, Sweden, Denmark, dan Finland — kadangkala dengan bahagian Arab atau Inggeris juga. Enjin OCR kami bukan sahaja perlu membaca teks dengan betul tetapi juga menentukan bahasa yang sedang dilihatnya, kerana perkataan fizikal yang sama boleh membawa maksud berbeza dalam bahasa yang berbeza.

Mimpi ngeri sebenar bermula apabila ralat OCR berinteraksi dengan penghuraian pelbagai bahasa. Jika enjin tersilap membaca "ø" Norway sebagai "o", perkataan itu mungkin secara tidak sengaja menjadi sah dalam bahasa lain — tetapi dengan makna yang sama sekali berbeza. Saluran pembersihan NLP kami cuba mengesan bahasa sumber terlebih dahulu dan kemudian menggunakan peraturan penormalan khusus bahasa, tetapi pengesanan ini sendiri tidak boleh dipercayai apabila teks OCR rosak. Ia menjadi masalah kitaran: anda memerlukan teks yang bersih untuk mengesan bahasa, tetapi anda memerlukan bahasa untuk membersihkan teks.

Kami telah bereksperimen dengan pelbagai pendekatan: menjalankan OCR dengan petunjuk bahasa yang eksplisit, menggunakan model ensemble yang mengundi bacaan paling berkemungkinan, dan pasca pemprosesan dengan LLM yang boleh membuat penaakulan tentang apa yang "mungkin" dimaksudkan oleh perkataan yang rosak itu. Setiap pendekatan meningkatkan ketepatan secara beransur-ansur, tetapi tiada yang menyelesaikan cabaran asas. Produk seperti E120 (karmin) mungkin disenaraikan sebagai "karmin" dalam bahasa Norway, "karmiini" dalam bahasa Finland, dan "cochineal" dalam bahasa Inggeris — semua pada label yang sama, semuanya perlu dikenali sebagai ramuan kritikal halal yang sama.

Di Mana Kami Berada Hari Ini — Dan Apa Seterusnya

Kami ingin telus tentang ketepatan semasa kami. Pada label berbahasa Inggeris yang terang, rata, dan kontras tinggi, saluran kami mencapai keputusan yang kukuh — mengenal pasti dan mengklasifikasikan sebahagian besar ramuan dengan betul. Pada pembungkusan pelbagai bahasa, melengkung, atau rosak, ketepatan menurun dengan ketara. Kami mengimbangi ini dengan penilaian keyakinan: apabila sistem tidak pasti tentang bacaan OCR atau pengenalpastian ramuan, ia menandakan keputusan dan menggalakkan pengguna untuk menyemak secara manual.

Peta hala tuju kami untuk meningkatkan pembersihan OCR termasuk beberapa arah yang menjanjikan. Pertama, kami meneroka model visi-bahasa — sistem AI yang boleh melihat imej mentalah dan memahami konteks, bukan hanya aksara individu. Daripada membaca "ge1atin" dan cuba membetulkannya selepas itu, model visi-bahasa mungkin mengenali daripada konteks visual bahawa ini adalah senarai ramuan dan perkataan itu hampir pasti "gelatin." Kedua, kami membina pangkalan data kesilapan bacaan OCR yang semakin berkembang — lapisan padanan kabur yang memetakan ralat biasa seperti "E47l" kembali kepada "E471" berdasarkan corak yang telah kami lihat merentasi ribuan imbas. Ketiga, kami melabur dalam gelung maklum balas pengguna, membenarkan komuniti kami membetulkan ralat OCR yang kemudian melatih sistem untuk mengelakkan kesilapan serupa pada masa hadapan.

Tiada penyelesaian ini akan menjadi sempurna. Cabaran asas membaca teks pelbagai bahasa yang kecil, melengkung daripada gambar kamera telefon mungkin tidak akan pernah diselesaikan sepenuhnya — ia adalah masalah di persimpangan optik, tipografi, linguistik, dan variasi budaya yang menolak had teknologi semasa. Tetapi kami percaya bahawa komunikasi jujur tentang batasan ini, digabungkan dengan peningkatan beransur-ansur yang stabil, adalah pendekatan yang betul. Setiap label rosak yang kami proses mengajar sistem kami sesuatu yang baru. Setiap pembetulan pengguna menjadikan imbas seterusnya lebih tepat.