Berbeda dari topik memilih model LLM yang sudah pernah dibahas di blog ini, topik ini soal apa yang terjadi setelah model dipilih dan sistem sudah berjalan. Model AI berkembang cepat, dan model yang paling cocok hari ini belum tentu tetap paling cocok setahun ke depan, baik dari sisi kualitas jawaban maupun biaya pemakaian.
Kenapa berpindah model sering lebih sulit dari yang dibayangkan
Kalau instruksi sistem, format keluaran, dan cara pemanggilan tool ditulis terlalu spesifik mengikuti kebiasaan satu model tertentu, berpindah ke model lain bisa berarti menulis ulang banyak bagian, bukan sekadar mengganti satu baris konfigurasi. Ini yang disebut vendor lock-in dari sisi model, sedikit berbeda dari vendor lock-in soal portabilitas data yang sudah dibahas sebelumnya.
Prinsip desain yang membantu
Beberapa kebiasaan yang membantu menjaga fleksibilitas antara lain menulis instruksi sistem dengan bahasa yang cukup umum, memisahkan logika bisnis dari cara spesifik memanggil satu model tertentu, dan menyimpan hasil uji kualitas jawaban untuk beberapa model berbeda sebagai pembanding, bukan hanya menguji satu model sejak awal proyek.
Tidak semua bagian perlu portabel penuh
Menjaga portabilitas penuh untuk semua bagian sistem juga punya biaya tersendiri, kadang perlu kompromi menulis kode tambahan yang sebenarnya tidak dipakai kalau tidak pernah pindah model. Untuk kebutuhan skala kecil, cukup memastikan bagian paling mahal diubah, seperti instruksi sistem utama dan format keluaran, ditulis dengan cukup umum, tanpa perlu merancang lapisan abstraksi rumit sejak hari pertama.
Uji coba berkala, bukan cuma saat migrasi darurat
Cara paling aman menghindari kejutan adalah sesekali mencoba model alternatif secara berkala meski belum berniat pindah, supaya kalau suatu saat memang harus berpindah karena alasan biaya atau performa, tim sudah tahu kira kira seberapa besar penyesuaian yang dibutuhkan, bukan baru mulai menghitung saat migrasi sudah mendesak.