Kenapa AI Lupa: Token, Tetingkap Konteks dan Sembang yang Terlalu Panjang

Bila sembang dengan AI makin panjang, satu perkara selalu berlaku: arahan yang kita beri pada awal tadi hilang entah ke mana. Harga yang kita tetapkan RM180 tiba-tiba muncul sebagai RM150. Format jadual yang kita minta bertukar jadi perenggan. Mesin itu tidak malas dan tidak memberontak. Ia cuma sudah kehabisan ruang kerja.

Untuk faham kenapa, kita perlu tahu dua perkara: token dan tetingkap konteks.

Token ialah unit terkecil teks yang dibaca dan dijana oleh model bahasa. Ia bukan perkataan. Menurut AIWiki Malaysia, satu token dalam bahasa Inggeris lebih kurang tiga hingga empat aksara, atau sekitar 0.75 perkataan, jadi ayat sepuluh perkataan mengambil kira-kira 13 hingga 15 token. Satu perkara yang selalu terlepas pandang: bahasa Melayu makan token lebih banyak daripada bahasa Inggeris. Halaman wiki yang sama menyatakan bahasa dengan set aksara besar dan struktur kata berimbuhan cenderung memerlukan lebih banyak token bagi setiap perkataan. Sebab itu penyelidik MaLLaM di Malaysia membina tokenizer BPE sendiri untuk mengecilkan saiz token bahasa Melayu, dan model mereka dilatih atas data 349GB yang bersamaan 90 bilion token.

Tetingkap konteks pula ialah jumlah teks, dikira dalam token, yang boleh dipertimbangkan model pada satu-satu masa. IBM menyebutnya sebagai memori kerja model: ia menentukan berapa panjang perbualan boleh diteruskan sebelum butiran awal terlupa, dan berapa besar dokumen yang boleh diproses sekali gus. Bila kandungan melebihi had, teks itu perlu dipotong atau diringkaskan sebelum model boleh teruskan.

Yang penting, bukan mesej kita sahaja yang masuk kira. Dokumen Anthropic menjelaskan semua yang dihantar mengambil ruang: arahan sistem, setiap mesej lama, hasil alat, gambar, dokumen, definisi alat, malah jawapan model itu sendiri termasuk proses berfikirnya. Jadi satu sembang yang diselangi lima gambar resit dan tiga fail PDF boleh penuh lebih cepat daripada yang kita sangka, walaupun ayat kita pendek.

Ada satu lagi andaian yang selalu salah: konteks lebih besar bermakna jawapan lebih baik. Dokumen Anthropic menyebut fenomena "context rot" — semakin banyak token, semakin menurun ketepatan dan keupayaan model mengingat semula. Ini bermakna memilih apa yang dimasukkan ke dalam konteks sama pentingnya dengan berapa banyak ruang yang ada.

Jangan pula keliru antara konteks dengan memori. Konteks ialah maklumat yang ada pada model untuk satu interaksi; memori ialah maklumat yang aplikasi simpan dan bawa masuk ke perbualan lain. Laporan Business Standard memetik penerangan OpenAI bahawa memori ChatGPT memang direka untuk membawa maklumat berguna antara sesi, tetapi ia sistem berasingan, bukan tetingkap konteks yang tidak terbatas.

Contoh paling dekat dengan kerja seharian: homestay tiga bilik. Kita mula dengan menampal senarai harga, peraturan tetamu, waktu daftar masuk dan jadual pembersihan. Lepas itu kita tanya dua puluh soalan berturut-turut — tulis mesej balas untuk tetamu, kira kos dobi, ringkaskan aduan. Menjelang soalan kelima belas, jawapan mula bercanggah dengan senarai asal. Bukan kerana AI bodoh, tetapi kerana senarai itu kini bersaing dengan berpuluh mesej lain untuk ruang yang sama.

Kedai kecil pula selalu cuba menyemak empat puluh resit dalam satu sembang. Resit pertama tepat, resit kedua puluh mula tersalah letak cukai. Cara yang lebih selamat: satu kelompok sepuluh resit, kemudian mula semula dengan arahan yang sama.

Langkah yang saya guna bila kerja panjang:

1. Satu sembang, satu tugasan. Tukar topik, buka sembang baharu.
2. Letak fakta yang tidak boleh salah — harga, nama, tarikh — di awal, dan ulang dalam satu baris ringkas sebelum minta output akhir.
3. Minta titik semak setiap sepuluh mesej: suruh AI ringkaskan keputusan setakat itu dalam beberapa baris, kemudian mulakan sembang baharu dengan ringkasan tersebut.
4. Jangan tampal bahan yang tidak berkaitan. Sepuluh halaman yang relevan lebih baik daripada dua ratus halaman "untuk keselamatan".
5. Simpan fakta kekal dalam fail nota sendiri. Konteks hilang, fail tidak.
6. Semak angka penting dengan mata sendiri, terutama wang dan tarikh.

Sebelum kita teruskan, ringkaskan perbualan ini dalam bentuk titik: (1) keputusan yang sudah dibuat, (2) fakta yang mesti kekal — harga, nama, tarikh, format output, (3) soalan yang masih belum selesai. Jangan tambah cadangan baharu. Selepas itu tunggu arahan saya.

Kesimpulannya, AI bukan lupa macam manusia lupa. Ia bekerja dalam ruang terhad yang dipanggil tetingkap konteks, dan ruang itu diisi oleh setiap perkataan, gambar dan fail yang kita hantar. Faham had ini, kerja jadi lebih tenang: kita berhenti menyalahkan mesin dan mula menyusun bahan dengan betul.