Salah satu kesalahan yang sering ditemukan pada AI agent yang belum matang bukan karena agent tidak tahu jawabannya, melainkan karena agent tetap mencoba menjawab meski sebenarnya tidak yakin. Merancang ambang keyakinan, atau confidence threshold, adalah cara untuk menentukan kapan agent sebaiknya berhenti dan mengakui keterbatasannya alih-alih memberi jawaban yang terdengar meyakinkan tapi belum tentu benar.
Kenapa Agent Cenderung ‘Sok Tahu’
Model bahasa pada dasarnya dirancang untuk selalu menghasilkan jawaban yang terdengar koheren, bukan untuk secara otomatis mengukur seberapa yakin dirinya sendiri terhadap jawaban itu. Tanpa desain tambahan, agent bisa saja menjawab pertanyaan di luar cakupan pengetahuannya dengan nada yang sama percaya dirinya seperti saat menjawab pertanyaan yang memang dikuasainya. Inilah salah satu akar masalah halusinasi yang pernah dibahas di artikel lain di blog ini.
Cara Praktis Merancang Ambang Ini
- Membatasi agent hanya menjawab dari sumber data atau dokumen yang memang disediakan, bukan mengarang dari pengetahuan umum model
- Menyusun daftar topik yang secara eksplisit di luar cakupan, misalnya nasihat hukum atau medis, dan mengarahkan otomatis ke manusia begitu topik ini terdeteksi
- Menambahkan instruksi eksplisit agar agent mengatakan tidak tahu ketika informasi relevan memang tidak ditemukan di sumber data, bukan menebak
- Menguji agent dengan pertanyaan jebakan di luar cakupan sebagai bagian dari proses evaluasi sebelum go-live
Menyeimbangkan Antara Terlalu Percaya Diri dan Terlalu Sering Menyerah
Ambang yang terlalu longgar membuat agent sering mengarang jawaban di luar kemampuannya. Sebaliknya, ambang yang terlalu ketat membuat agent terlalu sering bilang tidak tahu untuk pertanyaan yang sebenarnya masih bisa dijawab dengan baik, yang akhirnya membuat pengalaman pengguna terasa tidak berguna. Menemukan titik seimbang ini biasanya butuh beberapa putaran evaluasi dengan contoh pertanyaan nyata, bukan sekali coba langsung pas.
Kenapa Ini Layak Diprioritaskan
Agent yang jujur mengakui keterbatasannya justru lebih dipercaya dibanding agent yang selalu terdengar yakin tapi kadang salah. Bagi bisnis, ini berarti risiko informasi keliru yang bisa merugikan pelanggan atau reputasi jauh lebih kecil, meski konsekuensinya agent perlu lebih sering menyerahkan pertanyaan tertentu ke manusia.