Langkau ke kandungan
faizal.biz

AI Boleh Lihat Gambar: Apa Yang Ia Nampak, Apa Yang Ia Cuma Tebak

Mohd Faizal4 minit bacaanIntermediate

Kongsi ke WhatsApp

Kita selalu hantar gambar kepada AI tanpa fikir panjang. Gambar resit yang berkedut, label pemanas air yang sudah pudar, papan tanda di tepi jalan, atau tangkapan skrin penuh angka. Dalam beberapa saat AI menjawab dengan yakin, seolah-olah dia berdiri betul-betul di sebelah kita memegang gambar itu.

Hakikatnya dia tidak melihat. Dia meneka perkataan yang paling mungkin, berdasarkan corak yang pernah dipelajarinya dahulu. Faham perbezaan ini, dan cara kita menggunakan alat ini berubah sepenuhnya.

Bagaimana Mesin Melihat Gambar

Model yang boleh menerima gambar dipanggil model bahasa-visi. Menurut IBM, model jenis ini dibina daripada dua bahagian utama: pengekod bahasa dan pengekod visi. Pengekod visi memotong gambar kepada kepingan kecil, kemudian melayannya seperti perkataan dalam sebuah ayat. Setiap kepingan menjadi token yang boleh dibandingkan dengan teks lain.

Latihan pula berjalan di atas pasangan gambar dan kapsyen. Satu kaedah yang biasa disebut, CLIP, dilatih dengan kira-kira 400 juta pasangan gambar-teks yang diambil dari internet. Sebab itulah model tahu gambar buah berduri selalunya berkaitan dengan perkataan durian, walaupun tiada siapa mengajarnya kamus durian secara khusus.

Ada satu perkara praktikal yang jarang disebut: gambar juga makan token. Dokumen Google menyatakan setiap imej ditukar kepada sebilangan token, sekitar 1,120 pada tetapan lalai, boleh diturunkan ke 280 bagi imej kecil atau dinaikkan ke 2,240 apabila butiran halus penting. Ini sebabnya menghantar dua puluh gambar sekali gus dalam satu sembang boleh menghabiskan ruang sebelum soalan panjang sempat ditanya.

Apa Yang Ia Pandai, Apa Yang Ia Cuma Tebak

AI kuat pada beberapa kerja: menerangkan apa yang ada dalam gambar, membaca teks bercetak yang jelas, membandingkan dua gambar, dan menjawab soalan tentang gambar. Keupayaan ini sudah masuk ke telefon biasa. Ciri OSee dalam ColorOS 17, contohnya, mengimbas dokumen, menterjemah teks dan menganalisis kandungan makanan terus dari paparan kamera, tanpa perlu membuka aplikasi lain.

Kelemahannya pula didokumenkan oleh pembuat model itu sendiri. Google menyenaraikan beberapa had: model tidak tepat menentukan kedudukan atau mengira objek, jadi jawapan kiraan selalunya anggaran. Ia boleh berhalusinasi apabila gambar kabur, senget atau resolusi rendah, dan paling kerap silap pada tulisan tangan. Ia juga tidak dibina untuk mentafsir gambar perubatan seperti X-ray, dan tidak sepatutnya digunakan untuk mengenal pasti orang biasa dalam gambar.

Bahagian tulisan tangan itu yang paling perlu diingat. Angka lima yang ditulis tergesa-gesa boleh dibaca sebagai enam, dan AI jarang memberitahu kita dia ragu-ragu. Dia menulis ayat yang tenang, lengkap dengan angka yang kelihatan munasabah.

Contoh di Homestay dan Kedai Kecil

Tetamu menghantar gambar papan label pemanas air yang sudah luntur, bertanya sama ada model itu masih dijual. Kita muat naik gambar, minta AI senaraikan semua teks yang kelihatan dan tandakan bahagian yang tidak jelas. Daripada senarai itu kita dapat nombor model; selebihnya kita sahkan sendiri di laman pengeluar.

Di kedai, gambar invois pembekal boleh ditukar menjadi senarai item. Tetapi jumlah di bahagian bawah invois jangan diterima bulat-bulat. Minta AI tulis setiap baris, kemudian campur sendiri. AI bagus menyalin, lemah menjumlah, dan kita yang menanggung silapnya.

Langkah Demi Langkah

  1. Ambil gambar lurus, terang dan memenuhi bingkai. Putar gambar ke kedudukan betul sebelum muat naik; Google menasihatkan gambar yang senget dibetulkan dahulu.
  2. Satu gambar untuk satu soalan apabila membaca teks. Dokumen Google menyebut satu gambar bersama satu arahan memberi hasil lebih baik daripada beberapa gambar sekali gus.
  3. Letak gambar dahulu, arahan kemudian, bagi permintaan yang hanya ada satu gambar.
  4. Minta AI menandakan apa yang tidak jelas, bukan meneka.
  5. Sahkan angka, nama dan tarikh dengan dokumen asal sebelum ia masuk ke dalam rekod atau invois.
Contoh prompt
Saya hantar gambar label pemanas air. Tugas kau: salin semua teks yang kelihatan, baris demi baris, tanpa membetulkan ejaan. Kalau ada nombor atau huruf yang kabur, tulis [TIDAK JELAS] dan jangan teka. Selepas itu senaraikan tiga perkara yang kau tidak pasti tentang gambar ini.

Kesimpulan

AI yang boleh melihat ialah pembantu yang matanya tajam tetapi mulutnya tidak pernah berkata saya tidak tahu. Ia mempercepatkan kerja menyalin, menyusun dan membandingkan. Ia tidak menggantikan pengesahan. Selagi kita yang memegang dokumen asal dan membuat keputusan akhir, alat ini berbaloi dipakai setiap hari.

← Semua artikel ILMU AIAda soalan? Hubungi saya