Blog ini pernah membahas graceful degradation — bagaimana agent seharusnya tetap bisa melayani pertanyaan dasar meski satu tool atau sistem eksternal yang dipakainya sedang down. Tapi ada skenario yang lebih ekstrem dan sering terlewat dari perencanaan: bagaimana kalau yang down bukan tool pendukung, melainkan layanan model AI itu sendiri, otak dari agent-nya.
Kenapa Ini Skenario yang Berbeda
Kalau satu tool eksternal down — misalnya sistem cek stok — agent masih bisa berpikir dan menjawab, hanya saja informasi stoknya tidak bisa diambil untuk sementara. Tapi kalau API model AI sendiri yang tidak bisa diakses, seluruh kemampuan agent untuk memahami dan merespons ikut lumpuh. Tidak ada “otak cadangan” yang otomatis mengambil alih kecuali memang sengaja disiapkan sebelumnya.
Kenapa Skenario Ini Sering Diabaikan
Penyedia layanan model besar umumnya punya uptime yang tinggi, jadi wajar kalau bisnis kecil menganggap skenario ini kecil kemungkinannya dan tidak perlu dipikirkan. Masalahnya, kemungkinan kecil bukan berarti nol — dan begitu terjadi, dampaknya langsung total: bukan satu fitur yang terganggu, tapi seluruh layanan chat berhenti bekerja sama sekali di waktu yang tidak bisa diprediksi.
Fallback yang Realistis untuk Bisnis Kecil
- Pesan default yang otomatis terkirim kalau permintaan ke model gagal berkali-kali dalam waktu singkat, mengarahkan pelanggan menghubungi nomor manusia sebagai cadangan
- Notifikasi otomatis ke tim internal saat kegagalan mulai terdeteksi, supaya tidak baru ketahuan setelah banyak pelanggan komplain
- Untuk bisnis yang benar-benar bergantung penuh pada agent, mempertimbangkan penyedia model kedua sebagai cadangan — meski ini butuh usaha ekstra dan biasanya baru masuk akal kalau volume percakapannya sudah cukup besar
Jangan Samakan dengan Kegagalan Biasa
Perbedaan mendasar antara ini dan error biasa adalah: error biasa masih bisa ditangani agent dengan menjelaskan situasinya ke pelanggan. Saat model itu sendiri yang tidak bisa diakses, tidak ada “agent” yang bisa menjelaskan apa pun — yang perlu bekerja justru sistem di luar agent, semacam pesan otomatis statis yang tidak bergantung pada model AI sama sekali. Merancang fallback ini di awal, sebelum benar-benar dibutuhkan, jauh lebih murah dibanding menghadapinya pertama kali saat insiden sedang terjadi dan pelanggan sudah menunggu jawaban.