Model Yönlendirme Basit. Ta ki Basit Olmayana Kadar.

1. Maliyet, Model Fiyatlandırmasından Daha Fazladır 2. Karmaşıklık, Görev Zorluğundan Daha Fazladır 3. Gecikme, Model Hızından Daha Fazladır Peki Bunu Nasıl Hallettik? Büyük Resim Teşekkür Temsilcinize bir yönlendirici eklemek kolay bir kazanç gibi görünüyor. Basit istekleri daha ucuz modellere gönderin, pahalı olanları daha zor görevler için ayırın veya uzmanlığa göre yönlendirme yapın — kod için Claude, multimodal için Gemini vb. Bir sınıflandırıcı veya buluşsal yöntem aramayı gerçekleştirir, maliyetler düşer, performans artar. Tamamlamak. Ama öyle değil. Çoğu yönlendirme sistemi, model seçiminin bir sınıflandırma problemi olduğunu varsayar. Etken sistemlere yönlendirme oluşturma deneyimimize göre, model seçimi sorunu gibi görünen şey, hızla bir sistem optimizasyon sorunu haline gelir. Üç boyut bunu bizim için şaşırtıcı derecede zorlaştırdı. GPT-4.1'in Claude Sonnet 4.6'dan daha ucuz olmasını bekliyorduk. Değildi. Aynı CodeAct aracısını kullanan AppWorld Test Challenge'daki 417 görevde Sonnet'in toplam maliyeti 79 ABD Doları (görev başına 0,19 ABD Doları), GPT-4.1'in maliyeti ise 155 ABD Doları (0,37 ABD Doları/görev) olup neredeyse iki katıdır. Kağıt üzerinde bunun hiçbir anlamı yok. GPT-4.1'in token fiyatlandırması hem girdi hem de çıktı açısından daha düşük ve Sonnet aynı görevleri tamamlamak için kabaca üç kat daha fazla akıl yürütme adımı atıyor. Yalnızca etiket fiyatına bakılırsa GPT-4.1 kolayca kazanacaktır. Açıklama mı? Önbelleğe alma - çoğu yönlendirme tartışmasının tamamen göz ardı ettiği bir şey. Aracı iş yükleri, adımlar boyunca büyük bağlam parçalarını yeniden kullanma eğilimindedir. Önbellek isabet oranları yüksek olduğunda etkili girdi maliyetleri önemli ölçüde düşer.

Sonnet'in daha düşük önbellek okuma fiyatlandırması, bu modelden orantısız bir şekilde yararlandığı anlamına geliyordu; bu, hem daha yüksek taban fiyatlandırmasının hem de daha uzun gidişatlarının üstesinden gelebilecek kadar yeterliydi. Sonuç: Gerçek maliyet, model, iş yükü ve hizmet altyapısı arasındaki etkileşime bağlıdır. Yalnızca fiyatlandırma tablolarına bakan bir yönlendirici, yanlış sayılara göre optimizasyon yapıyor. Yaygın bir yönlendirme stratejisi, bir görevin ne kadar zor olduğunu tahmin etmek ve daha zor görevleri daha güçlü modellere göndermektir. Sezgisel, ancak iki şekilde bozuluyor. İlk olarak, zorluk genellikle yönlendirme zamanında görünmez. "Bu sözleşmeyi özetle" gibi bir istek basit görünebilir, ancak bu istek tamamlanmadan önce geri alma, uyumluluk kontrolleri, araç kullanımı ve birden fazla ayrıntılandırma turunu tetikleyebilir. Bu arada, son derece teknik bir istem, daha küçük, özel bir model tarafından verimli bir şekilde ele alınabilir.