Banyak bisnis memasang AI agent lalu bingung sendiri mengukur apakah investasinya berhasil atau tidak. Masalahnya sering bukan pada agent-nya, tapi pada KPI yang dipilih sejak awal — terlalu umum, terlalu dini, atau mengukur hal yang salah.
Kesalahan Umum: Mengukur Terlalu Cepat dan Terlalu Luas
Tiga bulan pertama adalah fase penyesuaian. Agent masih belajar pola pertanyaan nyata dari pelanggan, tim masih menyesuaikan SOP, dan data masih dikumpulkan. Mematok target seperti “naikkan penjualan 30%” di periode ini biasanya tidak adil untuk agent maupun tim — terlalu banyak variabel lain yang memengaruhi penjualan selain respons chat.
KPI yang lebih masuk akal di fase awal adalah KPI operasional, bukan KPI hasil akhir bisnis. Keduanya penting, tapi urutannya perlu benar.
KPI yang Layak Dipantau di 3 Bulan Pertama
- Tingkat resolusi tanpa eskalasi — berapa persen percakapan yang selesai dijawab agent tanpa perlu dilempar ke manusia. Ini indikator langsung soal seberapa baik agent memahami kasus nyata di lapangan.
- Waktu respons pertama (first response time) — apakah pelanggan mendapat balasan cepat, terlepas dari apakah masalahnya langsung tuntas atau tidak.
- Jumlah dan pola eskalasi — bukan sekadar berapa kali eskalasi terjadi, tapi kasus apa saja yang berulang kali membuat agent menyerah. Ini bahan evaluasi SOP dan konfigurasi agent.
- Keluhan soal jawaban yang salah atau menyesatkan — dicatat manual dari laporan tim, karena ini sinyal kualitas yang tidak selalu terbaca dari angka otomatis.
- Adopsi oleh tim internal — jika agent juga dipakai staf untuk bantu kerja internal, apakah mereka benar-benar memakainya atau justru menghindar.
Kapan Baru Menambahkan KPI Bisnis
Setelah fase operasional stabil — biasanya ditandai dengan tingkat resolusi dan waktu respons yang sudah konsisten dari minggu ke minggu — barulah masuk akal menambahkan KPI yang lebih dekat ke hasil bisnis, seperti tingkat konversi dari percakapan yang ditangani agent, atau retensi pelanggan yang pernah berinteraksi dengannya. Mengukur ini terlalu dini justru berisiko membuat tim menilai agent gagal padahal akar masalahnya ada di tempat lain, atau sebaliknya, mengklaim keberhasilan yang sebenarnya dipengaruhi faktor lain.
Catatan Praktis
KPI yang baik juga harus punya pemilik — seseorang di tim yang bertanggung jawab memantau angka ini secara berkala, bukan cuma dilihat sesekali saat ada komplain. Tanpa pemilik yang jelas, data KPI biasanya berhenti dikumpulkan setelah beberapa minggu, dan evaluasi agent kembali ke “perasaan” alih-alih data.