LLM-harcama – OpenAI/Anthropic API harcamanızı yerel olarak denetleyin
Özgün başlık: LLM-spend – Audit your OpenAI/Anthropic API spend locally
Geçimimi sağlamak için reklam açık artırmaları için harcama ilerleme hızı sistemleri oluşturuyorum ve yan proje aracısı iş yüklerim, açıklayamadığım API faturalarıyla beni hâlâ şaşırtmaya devam ediyordu. İnsanların LLM harcamalarını nasıl değerlendirdiğini sorduğumda yanıtlar sağlayıcı kontrol paneli veya bir e-tablo oldu. llm-spend, kullanımı OpenAI Anthropic raporlama API'lerinden alan, harcamaları anahtara, modele ve projeye göre ayıran, ay sonu projelerini yapan ve aynı hafta içi geçmişe göre anormal görünen günleri işaretleyen yerel bir CLI'dir. Ayrıca sağlayıcının maliyet API'sini bağımsız olarak ikinci kez okur ve toplamlar arasında %1'den fazla farklılık olması durumunda uyarı verir. Bu kontrol, size yanlış bir rapor göndermek istemediğim için var: kendi hattımdaki birim, sayfalandırma ve gruplama hatalarını yakalıyor. Faturanızı değil, sağlayıcının maliyet API'sini kontrol eder; krediler, vergiler ve API dışı masraflar başka yerlerde geçerlidir. Anahtarlar çirkin kısımdır. OpenAI Yönetici anahtarlarının kapsamı salt okunur kullanım maliyeti erişimine kadar daraltılabilir, ancak yönetici anahtarları bir Ekip planı gerektirir. Anthropic yönetici anahtarlarının kapsamı hiçbir şekilde daraltılamaz. Bu nedenle bir CSV yolu vardır: Kullanım verilerinizi dışa aktarın, aracın belgelenen şemasına bir kez yeniden şekillendirin ve raporu anahtar olmadan tamamen çevrimdışı çalıştırın. Ancak CSV yolu %1'lik çapraz kontrolü atlıyor çünkü kontrol edilecek hiçbir şey getiremiyor. Raporun neye benzediğini görmek istiyorsanız README'de sentetik veriler içeren bir demo da bulunmaktadır.
Hedef dışı: toplu verilerden çapraz model "%40 tasarruf edebilirdin" tahminleri yok (farklı belirteçler bunu sahtekâr yapar), istek yolunuzda proxy yok, barındırılan hiçbir şey yok. Apache-2.0, Python 3.12+. LiteLLM kullanıyorsanız: bunun yerine geçmez. Bir sonraki sürüm, bütçe ilerleme hızına yönelik bir LiteLLM korkuluk eklentisi olarak planlanıyor; doğrulayamadığınız rakamlara bütçe uygulayamayacağınız için önce denetim gönderilir. Aracı sürülerini API anahtarı faturalandırmasında çalıştırıyorsanız iki şeyi duymak isterim: harcamayı bugünkü belirli bir çalıştırmaya veya temsilciye nasıl bağlarsınız ve bir çalıştırma beklediğinizin ötesine geçtiğinde ne olur?