Salah satu risiko yang paling sering dikhawatirkan soal AI agent adalah halusinasi — kondisi ketika agent memberi jawaban yang terdengar meyakinkan tapi sebenarnya salah atau bahkan tidak berdasar sama sekali. Memahami kenapa ini terjadi penting sebelum memutuskan seberapa jauh agent boleh dipercaya di alur kerja bisnis.
Kenapa halusinasi bisa terjadi
Model bahasa di balik AI agent pada dasarnya bekerja dengan memprediksi kata atau kalimat yang paling masuk akal berdasarkan pola dari data pelatihannya, bukan dengan “mencari fakta” seperti mesin pencari. Kalau agent tidak punya akses ke sumber data yang jelas dan diberi instruksi untuk tetap menjawab, ia bisa saja menghasilkan jawaban yang terdengar meyakinkan padahal sebenarnya mengarang.
Risiko ini makin besar untuk pertanyaan yang sangat spesifik, angka-angka detail, atau topik yang jarang muncul di data pelatihan.
Cara-cara umum menguranginya
Beberapa pendekatan yang umum dipakai dalam merancang agent yang lebih bisa diandalkan:
- Membatasi agent hanya menjawab dari sumber data resmi yang disediakan (dikenal sebagai retrieval-augmented generation atau RAG), bukan mengandalkan “ingatan” model semata.
- Memberi instruksi eksplisit agar agent mengaku tidak tahu atau menawarkan eskalasi ke manusia ketika tidak yakin, alih-alih memaksa menjawab.
- Menambahkan lapisan verifikasi untuk jawaban yang berkaitan dengan angka, harga, atau klaim penting sebelum dikirim ke pengguna.
- Melakukan evaluasi rutin terhadap kualitas jawaban agent, seperti yang sudah dibahas di artikel sebelumnya soal cara menilai kualitas jawaban AI agent.
Kenapa ini bukan alasan untuk menghindari AI agent sama sekali
Halusinasi adalah risiko yang perlu dikelola, bukan alasan mutlak untuk tidak memakai AI agent. Dengan desain yang tepat — sumber data yang jelas, batasan topik yang wajar, dan mekanisme eskalasi ke manusia — risiko ini bisa ditekan cukup jauh, terutama untuk use case yang sifatnya informasi terbatas dan berulang.
Pertanyaan yang perlu diajukan sebelum implementasi
Sebelum menerapkan AI agent untuk suatu use case, ada baiknya bertanya: apa dampaknya kalau agent memberi jawaban yang salah di sini? Untuk use case dengan dampak rendah (misalnya FAQ umum), risiko halusinasi lebih bisa ditoleransi. Untuk use case dengan dampak tinggi (misalnya saran finansial atau medis), lapisan verifikasi dan keterlibatan manusia perlu jauh lebih ketat.