Agentic Workflow'un Cache Keepalive maliyetleri 8 kat fazla

Herkes her 30 saniyede bir istem önbelleğine ping atar. Bu 8 kat fazla ve ölçtüğüm on dakikalık duraklamada dört büyük sağlayıcıdan yalnızca biri canlı tutma yöntemiyle para biriktirdi. Anthropic, OpenAI, Gemini ve DeepSeek genelinde canlı tutma ekonomisi ölçüldü. Önbelleği canlı tutma, her aracı oluşturucunun üzerinde anlaştığı bir optimizasyondur ve hemen hemen herkes bunu yanlış ayarlarda çalıştırır. Kural her 30 saniyede bir ping atmaktır. Bu kongrenin maliyeti gerekenden 8 kat daha fazla ve sürpriz daha da büyük: ölçtüğüm on dakikalık duraklamada dört büyük sağlayıcıdan yalnızca biri canlı tutma yöntemiyle para biriktirdi. Bunu Anthropic, OpenAI, Gemini ve DeepSeek boyunca kendi zamanlamasını kanıtlayabilecek bir koşum takımı ile ölçtüm ve sayılar bazı inançlarımı yeniden düzenledi. Doğru aralık yaklaşık 4 dakikadır, 30 saniye değil. Test ettiğim her sağlayıcıda 30 saniyelik bir canlı tutma, uzun aralıklarla para kaybediyor. Anthropic tarihinde 4 dakikalık canlı tutma gerçek para tasarrufu sağlar. DeepSeek'de dolar değil, gecikme satın alıyor. OpenAI ve Gemini'de bu boşluklardan hiçbir şey satın almaz. Önbelleği sıcak tutmak, evrensel bir karar değil, sağlayıcıya özel bir karardır. Sağlayıcı bilgi istemi önbellekleri, API'deki en iyi fırsatlardan biridir: sunucunun bir dakika önce işlediği bir önek gönderirseniz, giriş fiyatının yaklaşık onda birini ödersiniz ve ön doldurma gecikmesinin çoğunu atlarsınız. Ancak önbelleğin süresi dakikalar içinde doluyor ve ajanslı iş yükleri bunun en kötü kullanıcısı oluyor. Bir temsilci düşünür, harekete geçer, bekler.

Bir isteği harekete geçirir, bir yapıyı veya test paketini çalıştırır veya on dakika boyunca insan onayı alır ve ancak bundan sonra (artık büyük) konuşma önekini yeniden kullanacak olan takibi gönderir. Duraklatma önbelleği aşar. Takip, tam ücreti, tam gecikmeyi öder ve temsilci ölçeğinde bu gerçek bir satır öğesidir. Savunması çok iyi biliniyor. Duraklatma sırasında bir zamanlayıcıda tam öneki yeniden gönderin; her okuma TTL'yi yeniler. Aider bunu 2024'te gönderdi, Anthropic'nin dokümanları bunu tavsiye ediyor ve topluluk gönderileri Anthropic maliyet mekaniğini ve hatta kağıt üzerinde 4 dakikalık bir aralığı hesapladı. Folklorun doğru cevabı olduğu ortaya çıktı. Sahip olmadığı şey ölçümdü. Yukarıdaki her şey pratik ve aritmetiktir.