AI Tempatan: Jalankan Model AI Dalam Komputer Sendiri Tanpa Internet

Bila orang sebut AI, biasanya yang terbayang ialah satu kotak di awan yang menjawab soalan asalkan ada internet. Ada satu lagi cara yang makin mudah: pasang model AI terus dalam komputer sendiri. Model itu dimuat turun sekali, disimpan dalam cakera, dan selepas itu boleh digunakan tanpa sambungan internet langsung. Inilah yang dipanggil AI tempatan.

Bezanya mudah. ChatGPT, Gemini dan Claude berjalan di pelayan syarikat masing-masing, jadi setiap ayat yang kita taip keluar dari komputer. AI tempatan berjalan pada cip komputer kita sendiri. Teks yang kita taip tidak ke mana-mana, dan tiada bil per token.

Tiga sebab orang memilih jalan ini. Pertama, privasi: senarai tetamu, sebut harga, atau nota dalaman homestay tidak perlu dihantar kepada pihak ketiga. Kedua, kos: selepas model dimuat turun, penggunaan tidak dicaj. Ketiga, ia berfungsi walaupun talian perlahan atau terputus, contohnya bila menyiapkan kerja di rumah tetamu yang liputan lemah.

Yang menentukan kemampuan komputer ialah saiz model, diukur dalam bilangan parameter. Dalam pustaka Ollama, Gemma 3 datang dalam versi 270 juta parameter bersaiz 292MB, 1B bersaiz 806MB, 4B bersaiz 3.4GB, 12B bersaiz 8.2GB dan 27B bersaiz 17GB. Qwen2.5 pula dari 0.5B bersaiz 398MB sampai 32B bersaiz 20GB, dengan versi 7B sekitar 4.7GB. Fail sebesar 4GB bermakna komputer perlu ruang memori lebih daripada itu, sebab sistem pengendalian dan cache perbualan pun makan ruang. Komputer 8GB selesa dengan model 3B hingga 4B; 16GB membuka model 7B hingga 8B. Kad grafik mempercepatkan proses, tetapi bukan syarat wajib.

Cara paling cepat mencuba ialah Ollama, alat baris arahan percuma untuk macOS, Windows dan Linux.

Langkah 1. Pasang. Di macOS atau Linux, buka Terminal dan jalankan arahan pemasangan dari ollama.com. Di Windows, buka PowerShell dan jalankan arahan yang disediakan di laman yang sama.

Langkah 2. Muat turun model kecil dahulu. Taip ollama run gemma3:4b. Arahan ini menarik fail sekitar 3.4GB dan terus membuka ruang perbualan.

Langkah 3. Uji dalam bahasa Melayu. Mula dengan tugasan kecil yang senang disemak, seperti meringkaskan satu perenggan atau menyusun senarai semak. Model kecil kadang-kadang menjawab seperti terjemahan terus daripada bahasa Inggeris, jadi minta ia tulis semula dalam bahasa Melayu pasar.

Langkah 4. Kalau mahu guna dalam sistem sendiri, Ollama menyediakan API pada localhost port 11434. Sistem yang kita tulis hanya perlu hantar permintaan ke alamat itu; tiada kunci API dan tiada bil.

Langkah 5. Untuk rasa model yang dilatih dengan teks Malaysia, cuba variasi GGUF Mistral 7B oleh Mesolitica di Hugging Face. Fail 4-bit itu sekitar 4.37GB dan boleh ditarik terus melalui Ollama.

Langkah 6. Satu perkara jangan keliru: Ollama juga menawarkan model awan yang namanya berakhir dengan :cloud. Model itu berjalan di pelayan Ollama, bukan dalam komputer kita, jadi ia bukan AI tempatan.

Contoh penggunaan senang dibayang. Homestay di Benting Lintang menerima mesej tetamu yang bertanya arah masuk simpang Petron dan meminta check-in awal. Nota tempahan sudah ada dalam komputer pejabat. Dengan model tempatan, kita tampal nota itu dan minta AI susun tiga tindakan serta draf balasan WhatsApp. Data tetamu tidak keluar dari laptop. Kerja yang sama berguna untuk kedai kecil: meringkaskan senarai stok yang bersepah, atau menukar nota mesyuarat bertulis tangan kepada senarai tugasan.

Jangan letak harapan terlalu tinggi. Model 4B atau 7B tidak setanding model awan yang jauh lebih besar; ia mudah tersilap nombor, tarikh dan nama. Untuk kerja yang melibatkan wang, kiraan atau fakta, semak sendiri. Bahasa Melayu pun belum sekuat bahasa Inggeris bagi model umum, walaupun model yang dilatih dengan teks Malaysia menunjukkan beza yang jelas. Jadi guna AI tempatan untuk kerja yang datanya tidak boleh keluar, dan kembali ke perkhidmatan awan untuk tugasan yang perlukan penaakulan berat.

Ada juga istilah yang sering dicampur: model tempatan. ILMU, model bahasa besar Malaysia oleh YTL AI Labs yang dilancarkan pada 12 Ogos 2025, ialah contoh model yang dibina untuk bahasa dan konteks tempatan. Tetapi ILMU diakses sebagai perkhidmatan dalam talian, bukan fail yang kita pasang dalam laptop. AI tempatan pula soal di mana ia berjalan.

Kalau mahu mula, ini satu prompt yang boleh diguna terus:

Kau pembantu homestay. Baca nota di bawah dan hasilkan dua perkara: tiga tindakan yang perlu aku buat hari ini, dan draf balasan WhatsApp maksimum 60 patah perkataan dalam bahasa Melayu santai. Jangan tambah fakta yang tiada dalam nota, dan jangan janji perkara yang aku tak mampu tunaikan.

Nota: [tampal nota tempahan di sini]

Cara terbaik mencuba ialah kecil: satu model 4B, satu tugasan yang berulang setiap minggu, satu minggu percubaan. Kalau jawapan cukup baik dan kelajuan boleh tahan, kekalkan. Kalau tidak, naik ke model 7B atau 8B, dan simpan perkhidmatan awan untuk kerja besar.