Blog ini pernah membahas QA dan testing sebelum agent naik ke publik, serta red-teaming untuk menguji skenario jahat. Sebelum benar-benar menaikkan skala pemakaian ke seluruh pelanggan, ada beberapa poin ringkas yang layak dicek ulang sebagai lapisan terakhir.
Poin yang perlu dicek
- Guardrails topik sudah diuji dengan pertanyaan di luar scope, bukan cuma pertanyaan normal yang diharapkan
- Ada jalur eskalasi yang jelas ke manusia untuk kasus yang tidak bisa dijawab agent
- Log percakapan bisa dipantau, bukan berjalan tanpa jejak yang bisa ditelusuri kalau ada masalah
- Sudah ada batas biaya atau rate limit supaya penyalahgunaan tidak membuat tagihan API membengkak tiba-tiba
- Sudah diuji dengan volume yang mendekati kondisi ramai sebenarnya, bukan cuma beberapa kali chat uji coba
Kenapa checklist ini beda dari QA dan red-teaming yang pernah dibahas
QA testing menguji apakah agent bekerja sesuai harapan, dan red-teaming menguji skenario jahat secara spesifik. Checklist ini lebih ke pengecekan operasional terakhir sebelum tombol dinyalakan penuh ke semua pelanggan, gabungan poin praktis dari berbagai aspek yang sebelumnya sudah dibahas terpisah.
Kalau ada poin yang belum terpenuhi
Bukan berarti agent harus ditunda total. Beberapa bisnis memilih menaikkan skala bertahap, misalnya hanya untuk sebagian pelanggan atau sebagian topik dulu, sambil poin yang belum terpenuhi terus diperbaiki. Menaikkan skala bertahap biasanya lebih aman dibanding langsung penuh ke semua pelanggan sekaligus.