AI agent produksi hampir selalu bergantung ke API pihak ketiga \u2014 API WhatsApp, API model LLM, API pembayaran, API pengiriman. Semua API ini punya batas kuota (rate limit): berapa banyak permintaan yang boleh dikirim dalam periode waktu tertentu. Masalahnya bukan kalau agent kena limit sesekali \u2014 masalahnya adalah apa yang dilakukan agent SETELAH kena limit itu.<\/p>\n
Reaksi paling naif saat request gagal karena limit terlampaui adalah langsung mencoba lagi. Kalau semua permintaan yang gagal langsung di-retry serentak tanpa jeda, hasilnya justru memperparah \u2014 permintaan menumpuk lebih banyak lagi ke API yang sudah penuh, membuat semuanya makin lambat, dan dalam kasus terburuk bisa membuat akun API-nya sendiri kena suspend sementara karena dianggap pola pemakaian abnormal.<\/p>\n
Analoginya persis sekring listrik di rumah \u2014 kalau ada korsleting, sekring memutus aliran listrik SEBELUM kerusakan lebih besar terjadi, bukan membiarkan arus terus mengalir sampai kabel terbakar. Di software, pola yang sama diterapkan: kalau sebuah API terus-menerus gagal atau kena limit dalam periode singkat, sistem “membuka circuit” \u2014 berhenti sementara mengirim request baru ke API itu, memberi jeda waktu untuk pulih, baru mencoba lagi secara bertahap (biasanya dengan jeda yang makin panjang tiap percobaan, dikenal sebagai exponential backoff). Ini mencegah satu masalah kecil menjalar jadi sistem yang macet total.<\/p>\n
Yang membedakan desain matang dari sekadar tambal sulam: sistem yang baik tidak cuma menunda retry, tapi juga memberi sinyal jelas ke bagian lain sistem bahwa “API ini sedang bermasalah, jangan kirim request baru dulu” \u2014 supaya bagian lain sistem tidak ikut-ikutan antre menunggu API yang sama, yang justru memperlambat semuanya. Untuk agent yang menangani banyak percakapan sekaligus (mis. beberapa pelanggan chat bersamaan), ini penting supaya satu API bermasalah tidak membuat SEMUA percakapan macet, hanya yang benar-benar butuh API itu.<\/p>\n
Error handling menjawab “apa yang terjadi kalau 1 request gagal”. Rate limiting dan circuit breaker menjawab pertanyaan yang lebih besar: “apa yang terjadi kalau BANYAK request gagal berturut-turut dalam waktu singkat”. Ini kelas masalah yang berbeda, dan sering baru terasa penting justru saat bisnis mulai tumbuh \u2014 volume yang tadinya aman (puluhan pesan sehari) tiba-tiba jadi ratusan, dan sistem yang sebelumnya “kelihatan baik-baik saja” mulai menunjukkan gejala tersendat di jam sibuk.<\/p>\n","protected":false},"excerpt":{"rendered":"
AI agent produksi hampir selalu bergantung ke API pihak ketiga \u2014 API WhatsApp, API model LLM, API pembayaran, API pengiriman. Semua API ini punya batas kuota (rate limit): berapa banyak permintaan yang boleh dikirim dalam periode waktu tertentu. Masalahnya bukan kalau agent kena limit sesekali \u2014 masalahnya adalah apa yang dilakukan agent SETELAH kena limit … Read more<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-207","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/analisfakhri.my.id\/blog\/index.php\/wp-json\/wp\/v2\/posts\/207","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/analisfakhri.my.id\/blog\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/analisfakhri.my.id\/blog\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/analisfakhri.my.id\/blog\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/analisfakhri.my.id\/blog\/index.php\/wp-json\/wp\/v2\/comments?post=207"}],"version-history":[{"count":1,"href":"https:\/\/analisfakhri.my.id\/blog\/index.php\/wp-json\/wp\/v2\/posts\/207\/revisions"}],"predecessor-version":[{"id":230,"href":"https:\/\/analisfakhri.my.id\/blog\/index.php\/wp-json\/wp\/v2\/posts\/207\/revisions\/230"}],"wp:attachment":[{"href":"https:\/\/analisfakhri.my.id\/blog\/index.php\/wp-json\/wp\/v2\/media?parent=207"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/analisfakhri.my.id\/blog\/index.php\/wp-json\/wp\/v2\/categories?post=207"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/analisfakhri.my.id\/blog\/index.php\/wp-json\/wp\/v2\/tags?post=207"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}