Blog ini sudah membahas rate limit dan circuit breaker untuk menahan lonjakan request yang gagal beruntun. Ada masalah lain yang lebih sering dirasakan pelanggan sehari-hari meski sistem berjalan normal: agent terasa lambat menjawab, padahal tidak ada error apa pun yang terjadi. Ini soal latency, bukan soal kegagalan.
Dari mana asal keterlambatan itu
Setiap kali agent menjawab, ada beberapa tahap yang memakan waktu — mengambil konteks percakapan sebelumnya, mencari data relevan kalau agent perlu akses ke sistem lain, mengirim semuanya ke model AI untuk diproses, lalu menunggu model selesai menyusun jawaban. Model yang lebih besar dan lebih pintar biasanya juga lebih lambat memproses, jadi ada trade-off yang perlu disadari sejak desain awal, bukan sekadar dikeluhkan belakangan.
Caching sebagai salah satu cara mempercepat
Salah satu teknik yang umum dipakai adalah caching — menyimpan jawaban atau data yang sering diminta supaya tidak perlu diproses ulang dari nol setiap kali. Misalnya, kalau banyak pelanggan menanyakan hal yang sama seperti jam operasional atau daftar harga, agent bisa langsung mengambil jawaban yang sudah disiapkan sebelumnya alih-alih memproses ulang lewat model AI setiap kali. Ini mempercepat respons sekaligus mengurangi biaya pemakaian.
- Cache jawaban untuk pertanyaan yang sangat sering berulang dan jarang berubah
- Pisahkan alur cepat untuk pertanyaan sederhana dari alur yang butuh pemrosesan model penuh
- Batasi jumlah data konteks yang dikirim ke model kalau tidak semuanya relevan
- Pantau waktu respons secara berkala, bukan cuma memantau apakah sistem “masih hidup”
Kenapa ini bukan sekadar masalah teknis kecil
Untuk kasus seperti layanan pelanggan real-time, jeda beberapa detik saja bisa terasa lama bagi orang yang menunggu jawaban di chat. Kalau dibiarkan tanpa dioptimalkan, pengalaman pelanggan bisa terasa lebih buruk dibanding balasan manual yang cepat meski sederhana. Latency perlu dipikirkan sebagai bagian dari kualitas layanan, sejajar dengan akurasi jawaban, bukan sekadar detail teknis di belakang layar.