Frugon – Hangi LLM'nin daha ucuz bir model olarak adlandırabileceğini bulun (yerel, MIT)

Merhaba HN. Frugon'u kendi makinemde bir soruyu yanıtlamak için kurdum: LLM çağrılarımdan hangisini daha ucuz bir modele geçirebilir ve kaliteyi kaybetmeden dolarımı uzatabilirdim? Bu yıl yoğun bir şekilde yapay zekaya güvenmeye başladım ve jetonlarım hafta ortasında tükenmeye devam etti... bazen birkaç gün içinde, çünkü pahalı modelin daha ucuz olana göre sahip olduğu avantajı kaçırmak istemedim. Böylece görev türüne göre maliyetimi takip etmeye başladım ve maliyetimin büyük bir kısmının arama taramalarına, yani aslında basit keşif görevlerine gittiğini ve hepsinin en pahalı sınır modelime gönderildiğini fark ettim. Frugon, izlemenin basit bir CLI aracına dönüşmesidir. Gerçek OpenAI tarzı günlüklerinizi yerel olarak okur, jetonları sayar, bunları LiteLLM kayıt defterine göre fiyatlandırır ve geçiş yaparak veya yönlendirerek tasarruf edeceğiniz $ miktarını gösterir. Öneriler, her biri fiyatlandırılmış ve kalite derecesine sahip 11 tedarikçiden oluşan 23 modellik bir listeden alınmıştır. Aylık 549,46 ila 343,91 ABD Doları arasındaki 56 bin çağrı demosunda %37,4 tasarruf sağlandı. Kolay olan %64'ü bir kademe aşağıya yönlendirir ve zorlu çağrıları mevcut modelde tutar. Daha geniş aralık (%30-50, kolay tekrarlanan trafikte ~%85'e kadar), kendi ölçümlerimden değil, RouteLLM'nin yayınlanmış araştırmasından alınmıştır. Aldığınız şey bu gruplardan çevrimdışı bir tahmindir, bir söz değil, ancak bunu kendi kararınızı verebilmeniz veya bunu sizin için yapacak bir modeli destekleyebilmeniz için yaptım.

Bu --measure ve --judge: istemleri SİZİN anahtarlarınızı kullanarak aday modeller aracılığıyla örneklerler, doğrudan sağlayıcılarınıza gönderirler, asla benim aracılığımla değil, böylece yönlendirmeye güvenmeden önce gerçek çıktıları kontrol edebilirsiniz. analizin kendisi tamamen yereldir. Hiçbir şey makinenizden ayrılmaz; test paketi bunu kontrol eder. MİT. Kasıtlı olarak küçüktür: analiz + yakalama + birkaç komut, üç iş yapar. Maliyet, kalite görünürlüğü, yönlendirme önerisi. Barındırılan hiçbir şey yok: yakalama, kendi makinenizdeki isteğe bağlı bir yerel proxy'dir ve verilerinizin yolunda hiçbir Frugon uç noktası yoktur. Web kullanıcı arayüzü yok, hesap yok. Deneyin: uvx frugon analyze --demo (5 saniyelik paket örnek) veya uv tool install frugon ve bunu kendi günlüklerinize yönlendirin. Yönlendirme kalitesi buluşsal yöntemi hakkında gerçekten geri bildirim almak isterim (daha ucuz bir model için bir görevin yeterince kolay olduğuna nasıl karar verir). Bana nerede yanlış olduğunu ya da başka bir şeyin, iyi ya da kötü olduğunu söyle.