Budget Guard – OpenAI/Anthropic faturanız için zorlu bir günlük sınır

LLM API faturanız için bir devre kesici. Tek seferde sıkı bir günlük sınır belirleyin; kontrolden çıkan yeniden deneme döngüleri, size fatura kesilmeden önce engellenir. Ayrıca özellik başına maliyet ilişkilendirmesi sayesinde neyin gerçekte ne kadara mal olduğunu bilirsiniz. "5 Dolarlık bir görevin 40 Dolarlık faturasını" gören bağımsız geliştiriciler için tasarlandı. OpenAI / Anthropic / Gemini SDK'larıyla doğrudan veya Vercel AI SDK (v5 + v7), LangChain.js, LlamaIndex.TS ve Mastra adaptörleri aracılığıyla çalışır. Bırakma: çağrılarınız yine de doğrudan sağlayıcıya gider; bütçe koruması yalnızca sayım yapar ve sınırlar. Ücretsiz açık kaynak (MIT). Projeler arası harcama + uyarıları içeren, barındırılan bir kontrol paneli planlanmıştır ancak SDK ücretsizdir ve öyle kalacaktır. Uygulamam için bugünün harcaması zaten 50 ABD Dolarını geçmişse, bir sonraki çağrı faturalandırılmadan önce BudgetExceededError hatası verir. Artık sabahın 3'ünde sürpriz faturalar yok. budget-guard, OpenAI (Azure, Mistral, DeepSeek, xAI dahil), Anthropic, Google Gemini ( useMetadata), AWS Bedrock Converse ve Cohere ( billed_units ) kullanım şekillerini otomatik olarak algılar. Önbelleğe alınan ve akıl yürütme belirteçleri, sağlayıcının tuhaflıkları da dahil olmak üzere sınıf başına gerçek oranları üzerinden faturalandırılır (xAI ve Gemini çıktı sayımı dışındaki akıl yürütmeyi rapor eder; bütçe koruma bunu geri ekler, böylece sessizce eksik sayılmazsınız). Başka bir şey için kendi çıkarıcınızı iletin: Varsayılan olarak defter bellekte (işlem başına) bulunur; tek bir komut dosyası, çalışan veya aracı için idealdir.

Birden fazla örnek mi çalıştırıyorsunuz? Paylaşılan bir mağazayı geçin, böylece birlikte bir sınır uygulayıp yeniden başlatmalardan sağ çıkabilsinler: mağaza, küçük Harcama Mağazası arayüzünü uygulayan her şeyi kabul eder ( add / get / entry artı atomik rezervasyonlar için isteğe bağlı addIfUnder - redisStore bunu sunucu tarafı bir Lua betiği olarak uygular), böylece onu zaten çalıştırdığınız her şeyle yedekleyebilirsiniz. Cron işleri ve kısa ömürlü komut dosyaları, bellek içi sınırların sessizce başarısız olduğu durumlardır; her çalıştırma 0 dolardan başlar. fileStore, defteri tek bir JSON dosyasında tutar, böylece günde 100 çalıştırma tek bir sınırı paylaşır: Yazmalar atomiktir (geçici dosya + yeniden adlandır), üst dizinler oluşturulur ve bütçenizi sessizce sıfırlamak yerine bozuk bir dosya atılır. Depolama katmanları: bellek = bir işlem, dosya = bir makine, redis = bir filo. (Eşzamanlı işlemler redisStore kullanmalıdır; dosya deposu sıralı çalıştırmaları hedefler.) Varsayılan olarak sınır, siz sınırı geçtikten sonra bir sonraki çağrıya uygulanır, böylece bir çağrı sınırı aşabilir.