Tantangan Tak Terpecahkan dalam Pembersihan Teks OCR dari Kemasan Makanan

Setiap hari, jutaan Muslim di seluruh dunia mengambil produk makanan, membaliknya, dan menyipitkan mata melihat daftar bahan kecil yang tercetak di bagian belakang. Teksnya sering kali berdesakan di panel sempit, melengkung mengikuti permukaan, dicetak dengan kontras rendah, dan terkadang sebagian tertutup oleh lipatan, silau, atau kerusakan. Bagi manusia, membaca label-label ini sudah merupakan tantangan. Bagi mesin — bagi pipa OCR kami di HalalLens — ini adalah medan pertempuran yang belum kami menangkan.

Artikel ini adalah pandangan jujur tentang di mana posisi kami. Kami telah membangun sistem yang dapat memindai label makanan, mengekstrak teks, mengidentifikasi bahan-bahan individual, dan menentukan status halalnya — semuanya dalam hitungan detik. Sistem ini bekerja sangat baik pada label yang bersih, datar, dan pencahayaan baik. Namun kemasan di dunia nyata jarang yang bersih, datar, atau pencahayaan baik. Kesenjangan antara akurasi laboratorium dan realita di meja dapur adalah tempat masalah-masalah tersulit yang belum terpecahkan berada, dan kami pikir pengguna kami berhak tahu persis apa masalah-masalah tersebut.

Mengapa Kemasan Makanan Sangat Sulit untuk OCR

Pengenalan Karakter Optis telah berkembang jauh. Mesin OCR modern dapat membaca dokumen cetak dengan akurasi hampir sempurna. Namun label makanan bukanlah dokumen. Ia adalah objek tiga dimensi yang difoto dalam kondisi tak terkendali oleh kamera ponsel yang dipegang pada sudut sembarang. Teks mungkin dicetak dalam font empat poin pada pembungkus logam mengilap, dengan daftar bahan berlanjut di sudut yang secara fisik mustahil untuk ditangkap dalam satu foto.

Bayangkan sebuah batang cokelat biasa. Daftar bahannya mungkin berbunyi: "Gula, lemak kakao, bubuk susu full cream, massa kakao, pengemulsi (E471), perisa alami, asam sitrat." Di atas kertas, itu mudah. Pada pembungkus melengkung dan reflektif yang difoto di bawah pencahayaan lampu neon toko swalayan, mesin OCR mungkin mengembalikan: "Gula, lemak kakao, bubuk susu full cream, massa kakao, pengemulsi (E47I), perisa alami, asam sitrat." Setiap karakter yang kacau adalah potensi kesalahan identifikasi — dan dalam verifikasi halal, kesalahan identifikasi dapat berarti perbedaan antara produk yang ditandai aman atau mencurigakan.

Masalah Pembersihan: Dari OCR Mentah ke Bahan yang Dapat Digunakan

Bahkan ketika mesin OCR kami berhasil mengekstrak teks dari sebuah label, output mentahnya jarang siap untuk analisis halal. Teks perlu "dibersihkan" — sebuah kata yang tampak sederhana untuk proses yang sangat kompleks. Pembersihan berarti memisahkan daftar bahan dari teks di sekitarnya seperti informasi gizi, peringatan alergen, dan tulisan pemasaran. Ini berarti membagi string panjang yang dipisahkan koma menjadi bahan-bahan individual. Ini berarti mengenali bahwa "E471" dan "pengemulsi (E471)" dan "mono- dan digliserida asam lemak" semuanya merujuk pada zat yang sama.

Di sinilah segalanya menjadi sangat sulit. Label makanan tidak mengikuti format universal. Di Eropa, bahan biasanya dicantumkan dalam urutan berat menurun, dipisahkan koma, dengan alergen dicetak tebal. Di Amerika Serikat, formatnya serupa tetapi aturan pelabelan alergen berbeda. Di Asia Tenggara, label mungkin muncul dalam bahasa Melayu, Indonesia, Arab, dan Inggris pada kemasan yang sama. Di negara-negara Skandinavia, Anda mungkin menemukan daftar bahan dalam bahasa Norwegia, Swedia, Denmark, dan Finlandia bertumpuk satu sama lain, dengan nomor-E yang digunakan secara tidak konsisten.

Pipa kami saat ini menggunakan kombinasi penguraian berbasis aturan dan ekstraksi berbantuan LLM. Sistem berbasis aturan menangani label yang diformat dengan baik secara andal: cari "Bahan:", pisahkan berdasarkan koma, normalisasikan setiap entri. Namun sistem ini gagal pada kasus tepi — dan di dunia nyata, kasus tepi adalah mayoritas. Bahan dalam tanda kurung bersarang seperti "lapisan cokelat (gula, lemak kakao, gelatin, gliserin)" harus diurai dengan benar untuk mengidentifikasi bahwa gelatin dan gliserin adalah sub-bahan dari lapisan, bukan bahan mandiri. Mendapatkan penumpukan tanda kurung yang benar ternyata sangat rapuh.

Labirin Multibahasa

HalalLens melayani pengguna di seluruh Skandinavia, Asia Tenggara, Timur Tengah, dan Eropa Barat. Satu produk yang dipindai di toko kelontong Norwegia mungkin memiliki daftar bahasanya dalam bahasa Norwegia, Swedia, Denmark, dan Finlandia — terkadang dengan bagian bahasa Arab atau Inggris juga. Mesin OCR kami tidak hanya harus membaca teks dengan benar tetapi juga menentukan bahasa apa yang sedang dilihatnya, karena kata fisik yang sama dapat memiliki arti yang berbeda dalam bahasa yang berbeda.

Mimpi buruk yang sebenarnya dimulai ketika kesalahan OCR berinteraksi dengan penguraian multibahasa. Jika mesin salah membaca huruf Norwegia "ø" sebagai "o", kata tersebut mungkin secara tidak sengaja menjadi valid dalam bahasa lain — tetapi dengan makna yang sama sekali berbeda. Pipeline pembersihan NLP kami mencoba mendeteksi bahasa sumber terlebih dahulu dan kemudian menerapkan aturan normalisasi khusus bahasa, tetapi deteksi ini sendiri tidak dapat diandalkan ketika teks OCR kacau. Ini menjadi masalah sirkular: Anda membutuhkan teks yang bersih untuk mendeteksi bahasa, tetapi Anda membutuhkan bahasa untuk membersihkan teks.

Kami telah bereksperimen dengan berbagai pendekatan: menjalankan OCR dengan petunjuk bahasa eksplisit, menggunakan model ensemble yang memilih pembacaan yang paling mungkin, dan pasca-pemrosesan dengan LLM yang dapat menalarikan apa kata yang kacau itu "mungkin" seharusnya. Setiap pendekatan meningkatkan akurasi secara bertahap, tetapi tidak ada yang menyelesaikan tantangan mendasar. Produk seperti E120 (karmin) mungkin terdaftar sebagai "karmin" dalam bahasa Norwegia, "karmiini" dalam bahasa Finlandia, dan "cochineal" dalam bahasa Inggris — semuanya pada label yang sama, semuanya perlu dikenali sebagai bahan kritis halal yang sama.

Di Mana Kami Berada Saat Ini — Dan Apa Selanjutnya

Kami ingin transparan tentang akurasi kami saat ini. Pada label berbahasa Inggris yang terang, datar, dan berkontras tinggi, pipeline kami mencapai hasil yang kuat — mengidentifikasi dan mengklasifikasikan sebagian besar bahan dengan benar. Pada kemasan multibahasa, melengkung, atau rusak, akurasi turun secara nyata. Kami mengimbangi ini dengan penilaian kepercayaan diri: ketika sistem tidak yakin tentang pembacaan OCR atau identifikasi bahan, sistem akan menandai hasilnya dan mendorong pengguna untuk memeriksa ulang secara manual.

Peta jalan kami untuk meningkatkan pembersihan OCR mencakup beberapa arah yang menjanjikan. Pertama, kami mengeksplorasi model visi-bahasa — sistem AI yang dapat melihat gambar mentah dan memahami konteks, bukan hanya karakter individual. Alih-alih membaca "ge1atin" dan mencoba memperbaikinya setelahnya, model visi-bahasa mungkin mengenali dari konteks visual bahwa ini adalah daftar bahan dan kata itu hampir pasti "gelatin." Kedua, kami membangun basis data kesalahan pembacaan OCR yang terus bertambah — lapisan pencocokan fuzzy yang memetakan kesalahan umum seperti "E47l" kembali ke "E471" berdasarkan pola yang telah kami lihat di ribuan pindaian. Ketiga, kami berinvestasi dalam loop umpan balik pengguna, memungkinkan komunitas kami untuk mengoreksi kesalahan OCR yang kemudian melatih sistem untuk menghindari kesalahan serupa di masa depan.

Tidak satu pun dari solusi ini yang akan sempurna. Tantangan mendasar membaca teks multibahasa, melengkung, dan kecil dari foto kamera ponsel mungkin tidak akan pernah sepenuhnya terpecahkan — ini adalah masalah di persimpangan optik, tipografi, linguistik, dan variasi budaya yang mendorong batas teknologi saat ini. Namun kami percaya bahwa komunikasi yang jujur tentang keterbatasan ini, dikombinasikan dengan peningkatan bertahap yang stabil, adalah pendekatan yang tepat. Setiap label kacau yang kami proses mengajarkan sesuatu yang baru pada sistem kami. Setiap koreksi pengguna membuat pindaian berikutnya lebih akurat.