Blog ini pernah membahas cost monitoring sebagai cara mengontrol biaya pemakaian API LLM secara keseluruhan. Selain memantau total biaya, ada satu pertanyaan lanjutan yang sering terlewat: metrik biaya mana yang benar-benar mencerminkan efektivitas agent, bukan cuma jumlah pengeluaran.
Beda dari cost monitoring yang pernah dibahas
Cost monitoring soal memantau dan membatasi total pengeluaran API supaya tidak membengkak tanpa disadari. Artikel ini lebih spesifik membahas metrik apa yang sebaiknya dilihat dari total biaya itu, karena angka total saja belum tentu menunjukkan apakah agent bekerja efisien atau tidak.
Kenapa cost per percakapan bisa menyesatkan
Cost per percakapan dihitung dari total biaya dibagi jumlah percakapan yang terjadi. Angka ini terlihat sederhana, tapi bisa menyesatkan karena satu percakapan yang gagal menyelesaikan masalah pelanggan tetap dihitung sama seperti percakapan yang berhasil, padahal percakapan gagal biasanya justru menambah biaya lain di belakangnya, misalnya ketika pelanggan akhirnya harus dilayani manusia juga.
Cost per resolusi sebagai pembanding
Cost per resolusi dihitung dari total biaya dibagi jumlah masalah yang benar-benar terselesaikan tanpa eskalasi ke manusia. Metrik ini lebih mendekati nilai sebenarnya dari agent, karena percakapan yang panjang tapi berhasil menyelesaikan masalah bisa jadi lebih bernilai dibanding percakapan singkat yang berujung pelanggan tetap harus dibantu manusia.
Bukan berarti satu metrik menggantikan yang lain
Cost per percakapan tetap berguna untuk memantau tren pemakaian harian, sementara cost per resolusi lebih cocok dipakai saat mengevaluasi apakah agent sepadan dengan biayanya. Kombinasi keduanya memberi gambaran yang lebih lengkap dibanding hanya melihat total biaya bulanan.