InferAll – OpenAI, Anthropic, Google, Nvidia Nim için Tek API

Ücretsiz OSS modellerinde Claude Code komutunu çalıştırın. İhtiyaç duyduğunuzda yükseltin. InferAll, 118'den fazla NVIDIA barındırılan açık kaynaklı modelde (ücretsiz planın günlük istek limiti dahilinde) 0 USD giriş/çıkışa sahip, Claude, GPT-4 ve Gemini'ye kullandıkça öde erişimi ve otomatik sağlayıcı yük devretme özelliğine sahip Anthropic uyumlu bir ağ geçididir. PointClaude Code, Cline, Cursor, LangChain veya herhangi bir OpenAI uyumlu istemci, tek bir temel URL'de — bir anahtar, bir fatura. İki env değişkeni ile Claude Code'ye bırakın; kod değişikliği yok. Claude Code için açılır menü Export ANTHROPIC API KEY=ifu ... Export ANTHROPIC BASE URL=https://api.inferall.ai claude Veya ağ geçidini doğrudan resmi SDK — Python ( PyPI'de inferall-ai 0.1.0) veya TypeScript ( npm'de @inferall/sdk 0.1.0) ile arayın. Python SDK — pip install inferall-ai Python SDK'sını kurun — inferall import'tan kullanım Inferall ai = Inferall(), INFERALL API ANAHTARI'nı okur ai.text("Kuantum hesaplamayı iki cümleyle açıklayın") 5 $ başlangıç ​​paketi, sınırsız NVIDIA NIM açık kaynak erişiminin (118+ model) kilidini açar - 5 $, herhangi bir premium modelde harcanabilir bakiye haline gelir. Bkz./fiyatlandırma. 219 model canlı · 121 ücretsiz · 14.200 istek / 30 gün · ağ geçidi sağlıklı Neden InferAll Open modelleri 0 $ oranında 118+ açık kaynaklı model NVIDIA NIM — Llama 3.1 70B, Mixtral, Nemotron, CodeLlama — hesabınız 5 $ başlangıçla etkinleştirildiğinde açık model ücretimiz üzerinden faturalandırın (0 $ giriş, 0 $ çıkış) paketi. Çoklu sağlayıcı yönlendirme Tek önemli cephe OpenAI, Anthropic, Google, NVIDIA NIM, Replicate ve Runway.

Sağlayıcıları yeniden yazma işlemiyle değil, bir parametreyle değiştirin. Açılan uyumluluk OpenAI-/ai/v1/generate ile uyumludur. Anthropic-/v1/messages adresinde uyumludur. Mevcut SDK'lar, aracılar ve düzenleyiciler değişmeden çalışır. Premium sağlayıcılarda sıfır kâr marjıyla yayınlanan belirteç fiyatı üzerinden tek fatura Kullandıkça öde. Ücretsiz OSS, ihtiyacınız olduğunda premium, tek fatura. Dayanıklılık Sağlayıcılar arasında otomatik yük devretme Anthropic hız sınırları. OpenAI olaylar var. Google Gemini kotaları sıfırlandı. Tek bir sağlayıcıyı doğrudan arayan üretim acenteleri bu başarısızlıkların her birini devralır. InferAll'ın ağ geçidi 429'ları, 529'ları, 5xx yanıtlarını ve zaman aşımlarını (varsayılan olarak 30 saniye) izler. Birincil sağlayıcı bir isteği yerine getiremediğinde, aynı istem sunucu tarafında eşdeğer bir modeli çalıştırabilen bir sonraki sağlayıcıya (Anthropic Google'a, OpenAI ila NVIDIA vb.) karşı yeniden denenir. Müşteri kodunuz değişmez.