Menilai Output AI: Cara Tahu Jawapan Itu Boleh Dipercayai

Model AI hari ini menjawab dengan yakin, dan keyakinan itu mudah disalah anggap sebagai ketepatan. Ayat yang tersusun kemas, nada profesional dan perenggan yang lancar membuatkan kita lupa satu perkara asas: model bahasa menjana teks yang paling mungkin, bukan teks yang paling benar. Jadi kerja sebenar bukan terletak pada mendapatkan jawapan, tetapi pada menilai jawapan itu sebelum ia digunakan.

Ada tiga jenis kegagalan yang perlu dibezakan. Pertama, jawapan salah tentang dunia sebenar, contohnya angka atau tarikh yang direka. Kedua, jawapan yang tidak disokong oleh dokumen yang kita beri, walaupun bunyinya selari dengan topik. Ketiga, jawapan yang bercanggah dengan apa yang telah dipersetujui lebih awal dalam perbualan yang sama. Satu jawapan boleh lulus semakan jenis kedua dan masih gagal pada jenis pertama, sebab menyemak sama ada ayat setia kepada dokumen bukanlah sama dengan menyemak sama ada ayat itu benar di luar dokumen. Ini perangkap biasa dalam sistem yang membaca fail syarikat: sistem boleh menyalin bulat-bulat satu angka lama daripada dokumen simpanan dan terus dianggap lulus.

Sebab itu satu skor tunggal tidak memadai. Amalan penilaian yang lebih baik menggabungkan beberapa semakan: pemeriksaan automatik untuk format dan medan wajib, penilaian berpandukan rubrik, dan semakan manusia pada sampel. Penilai manusia tetap diperlukan bukan kerana mesin tidak cukup pantas, tetapi kerana isu seperti nada, kerelevanan dan kesan kepada pembaca sukar dikurangkan kepada nombor. Kriteria juga mesti mengikut kerja: jawapan khidmat pelanggan dinilai pada ketepatan dan kesesuaian nada, manakala penulisan kreatif dinilai pada keaslian dan kesinambungan idea.

Satu lagi penemuan penting: model cenderung meneka apabila diberi markah untuk meneka. Dalam penilaian yang hanya mengira jawapan betul, model yang berani berkata "saya tidak pasti" kelihatan lebih lemah, sedangkan ia sebenarnya lebih jujur. Apabila rubrik menyatakan dengan jelas bahawa mengaku tidak tahu menerima kredit separa dan kesilapan dipotong markah, model yang sama muncul lebih tepat. Pengajaran untuk kita sebagai pengguna biasa sangat praktikal: beri ruang kepada AI untuk menolak menjawab, dan jangan hukum ia kerana berkata tidak tahu.

Cara paling murah untuk menilai output ialah menulis rubrik lima baris dan menyuruh AI menyemak hasilnya sendiri terhadap rubrik itu. Ini bukan pengganti semakan anda, tetapi ia menangkap banyak kesilapan sebelum sampai kepada anda.

Kamu penyemak teks yang ketat. Baca jawapan di bawah dan nilai pada lima perkara: (1) tepat — setiap fakta, angka dan nama boleh disahkan; (2) lengkap — semua bahagian soalan dijawab; (3) patuh arahan — format, panjang dan nada seperti diminta; (4) boleh dijejak — nyatakan dari mana setiap fakta penting datang; (5) selamat — tiada janji, tuduhan atau nasihat berisiko.

Senaraikan setiap ayat yang mengandungi fakta atau angka, dan tandakan: DISOKONG (ada dalam bahan yang saya beri), TIDAK PASTI (perlu saya semak), atau REKA (tiada asas). Jangan baiki apa-apa lagi. Akhir sekali, beri satu markah 1 hingga 5 bagi setiap lima perkara di atas, dan senaraikan tiga kelemahan terbesar.

Jawapan untuk disemak: [tampal di sini]

Contoh dalam kerja harian: seorang pengusaha homestay meminta AI menulis balasan kepada tetamu yang bertanya tentang bilik untuk lima orang. Jawapan pertama kelihatan sempurna, tetapi menyebut "sarapan percuma" dan "waktu daftar masuk 1 tengah hari" — dua perkara yang tidak pernah dimasukkan dalam arahan. Semakan rubrik menangkap kedua-duanya dalam beberapa saat; tanpa semakan, mesej itu akan dihantar kepada tetamu sebenar dan menjadi janji yang mengikat.

Langkah yang saya sarankan, ringkas dan boleh diulang setiap hari:

1. Tetapkan tujuan jawapan dalam satu ayat sebelum menulis prompt. Tanpa itu, anda tidak ada asas untuk menilai.
2. Minta AI menyenaraikan andaian yang dibuatnya. Andaian yang salah selalunya punca utama jawapan yang salah.
3. Semak angka, tarikh, nama, harga dan pautan dahulu. Ini bahagian yang paling kerap direka dan paling mahal akibatnya.
4. Bandingkan dengan sumber asal untuk sekurang-kurangnya tiga fakta penting, bukan satu.
5. Uji dengan satu soalan susulan yang sengaja menguji sempadan, contohnya "apa yang kamu tidak tahu tentang perkara ini?"
6. Simpan versi yang lulus semakan sebagai contoh rujukan untuk tugasan yang sama pada masa hadapan.

Akhir sekali, tentukan garis merah mengikut risiko. Untuk kerja dalaman seperti draf idea atau ringkasan peribadi, semakan pantas sudah memadai. Untuk apa-apa yang melibatkan wang, kontrak, kesihatan, nama orang lain atau keputusan rasmi, output AI hanyalah draf pertama dan mesti melalui mata manusia yang bertanggungjawab. AI boleh mempercepatkan kerja, tetapi tanggungjawab atas ketepatan tidak boleh dipindahkan kepada mesin.