Artikel sebelumnya di blog ini pernah membahas context window, yaitu batas jumlah teks yang bisa “diingat” AI agent dalam satu sesi percakapan yang sedang berlangsung. Topik kali ini berbeda: bagaimana agent mengingat seorang pelanggan yang sama ketika mereka kembali chat besok, minggu depan, atau bulan depan, padahal sesi percakapan sebelumnya sudah lama selesai.
Kenapa Context Window Saja Tidak Cukup
Context window hanya berlaku selama satu sesi aktif. Begitu percakapan berakhir dan pelanggan kembali lagi lain waktu, model tidak otomatis “ingat” percakapan sebelumnya kecuali riwayatnya disimpan dan dimuat ulang secara sengaja oleh sistem. Tanpa mekanisme ini, setiap kali pelanggan kembali, agent akan memperlakukan mereka seperti orang baru, meski sebelumnya sudah pernah bertanya soal produk yang sama atau punya keluhan yang belum selesai.
Bagaimana Memori Jangka Panjang Biasanya Dibangun
- Menyimpan ringkasan percakapan sebelumnya, bukan transkrip mentah lengkap, supaya tetap ringkas saat dimuat ulang
- Menandai informasi penting seperti preferensi pelanggan, riwayat pesanan, atau keluhan yang belum tuntas
- Memuat ringkasan ini di awal sesi baru sebagai konteks tambahan, bukan menaruh seluruh riwayat mentah ke dalam context window
- Memberi batas waktu relevansi, karena informasi yang terlalu lama kadang sudah tidak relevan lagi untuk ditampilkan
Risiko yang Perlu Diperhatikan
Menyimpan riwayat pelanggan berarti menyimpan data pribadi, sehingga perlu diperlakukan hati-hati soal keamanan penyimpanan dan siapa saja yang bisa mengaksesnya. Ada juga risiko informasi lama yang sudah tidak akurat ikut terbawa, misalnya alamat pelanggan yang sudah berubah tapi masih tersimpan sebagai data lama. Mekanisme untuk memperbarui atau menghapus data yang sudah usang perlu dipikirkan sejak awal desain, bukan ditambahkan belakangan setelah masalah muncul.
Kenapa Ini Penting bagi Bisnis
Pelanggan yang merasa harus mengulang penjelasan yang sama setiap kali chat biasanya merasa kurang dihargai, terutama kalau sudah jadi pelanggan lama. Agent yang punya memori jangka panjang, sekalipun sederhana, membuat percakapan terasa lebih personal dan efisien, karena pelanggan tidak perlu memulai dari nol setiap kali bertanya.