Artikel lama di blog ini pernah membahas cara memilih model LLM untuk kebutuhan bisnis, dengan fokus pada trade-off akurasi, kecepatan, dan biaya secara umum di tahap awal. Ada pendekatan lanjutan yang mulai banyak dipakai tim teknis: bukan memilih satu model untuk semua pertanyaan, tapi merutekan pertanyaan ke model berbeda tergantung tingkat kerumitannya.
Kenapa satu model untuk semua pertanyaan sering tidak efisien
Sebagian besar pertanyaan pelanggan sebenarnya sederhana: jam operasional, status pesanan, atau ketersediaan stok. Pertanyaan semacam ini tidak butuh model paling canggih untuk dijawab dengan baik. Kalau semua pertanyaan, sederhana maupun rumit, dikirim ke model paling mahal, biaya operasional membengkak tanpa manfaat kualitas yang sepadan untuk pertanyaan yang sebenarnya mudah.
Bagaimana routing ini biasanya bekerja
Ada lapisan penilaian awal yang mengklasifikasi tingkat kerumitan pertanyaan sebelum diteruskan ke model yang sesuai. Pertanyaan dengan pola jelas dan jawaban berbasis data langsung, misalnya cek stok atau jam buka, dirutekan ke model yang lebih ringan dan lebih murah. Pertanyaan yang butuh penalaran lebih dalam, misalnya keluhan kompleks atau permintaan yang ambigu, dirutekan ke model yang lebih mumpuni meski biayanya lebih tinggi per panggilan.
Risiko yang perlu diwaspadai
Klasifikasi kerumitan itu sendiri tidak selalu sempurna. Ada risiko pertanyaan yang sebenarnya rumit salah diklasifikasi sebagai sederhana, sehingga dijawab model yang kurang mumpuni dan hasilnya kurang memuaskan. Karena itu, sistem routing yang baik biasanya dilengkapi mekanisme untuk menaikkan level model kalau jawaban pertama terasa kurang percaya diri, mirip dengan konsep ambang keyakinan yang sudah pernah dibahas di blog ini.
Bukan solusi untuk semua bisnis
Untuk bisnis dengan volume pertanyaan yang belum terlalu besar, kerumitan membangun sistem routing semacam ini belum tentu sepadan dengan penghematan biayanya. Pendekatan ini lebih relevan ketika volume percakapan sudah cukup tinggi sehingga selisih biaya antar model benar-benar terasa signifikan di akhir bulan.
Model routing berdasarkan kompleksitas adalah contoh bagaimana desain arsitektur AI agent bisa memengaruhi biaya operasional jangka panjang, bukan cuma soal model mana yang dipilih di awal, tapi bagaimana model-model itu dipakai secara strategis sesuai kebutuhan tiap pertanyaan.