Untuk mempercepat respons, banyak AI agent menyimpan data yang sering ditanya, seperti harga atau stok, dalam bentuk cache alih-alih mengambil ulang dari sumber data setiap kali ada pertanyaan. Pendekatan ini masuk akal dari sisi performa, tapi punya risiko tersendiri kalau data sumber berubah lebih cepat dari jadwal cache diperbarui.
Beda dengan basis pengetahuan yang usang
Ini perlu dibedakan dari masalah basis pengetahuan agent yang perlahan jadi usang karena tidak pernah diperbarui. Cache yang basi sifatnya lebih teknis dan jangka pendek: datanya sebenarnya sudah berubah di sistem sumber (harga baru sudah diinput, stok sudah habis terjual), tapi agent masih membaca versi lama yang tersimpan di lapisan cache karena belum ada proses yang menyegarkannya.
Contoh kasus yang sering terjadi
- Harga promo yang sudah berakhir tapi masih dijawab agent karena cache belum diperbarui
- Stok barang yang sudah kosong di sistem tapi masih dijawab “tersedia” oleh agent
- Jadwal atau slot booking yang sudah penuh tapi cache masih menunjukkan kosong
Kapan cache aman dipakai, kapan tidak
Untuk data yang jarang berubah, misalnya jam operasional atau daftar layanan, cache dengan masa berlaku panjang tidak masalah. Tapi untuk data yang berubah cepat seperti stok dan harga saat promo berjalan, masa berlaku cache harus sangat singkat, atau bahkan sebaiknya dilewati sama sekali untuk pertanyaan yang berisiko tinggi kalau salah, seperti ketersediaan slot booking terakhir.
Aturan sederhana yang bisa dipakai: makin besar dampak kalau jawabannya salah, makin kecil toleransi cache basi yang bisa diterima. Bisnis perlu menyadari bahwa mempercepat respons tidak boleh mengorbankan akurasi pada titik-titik yang paling sensitif ini.