Ücretsiz LLMrPro kendi barındırılan LLM yönlendiricisi. OpenAI ile uyumlu API'lerinizden biri

Makineleriniz modelleri çalıştırıyor. Bulut yalnızca boşlukları doldurur. Her modeli, kendi kendine barındırılan tek bir OpenAI formatıyla çağırın ve size ait olsun. LLMrPro, kendi kendine barındırılan bir LLM yönlendiricisidir. OpenAI uyumlu bir API ortaya çıkarır ve yerel çıkarım motorlarını çalıştıran, sahip olduğunuz makinelerden (masaüstü bilgisayarlar, iş istasyonları, sunucular) oluşan bir havuzdan gelen her isteğe hizmet eder. Hiçbir yerel çalışan bir isteğe hizmet veremezse, bu istek şeffaf bir şekilde o katman için yapılandırdığınız bulut sağlayıcıya devredilir. Tek uç nokta, tek istek formatı, önce donanımınız, anahtarlarınız, verileriniz. Pek çok proje bunun bir kısmına dokunuyor; 2026 itibariyle hiçbir açık kaynaklı proje bunların hepsini birleştirmiyor. LLMrPro'nun amacı, son kullanıcı masaüstü bilgisayarlarından oluşan bir filoyu imzalı bir aracı + katmanlı bulut geri dönüşü + tek kiracılı kendi kendine barındırma yoluyla bir OpenAI uyumlu API'nin arkasında birleştirmek olan ayırt edici kombinasyondur. LLMrPro'nun kurulabilir iki parçası vardır: dengeleyici (birini sunucu tarafında çalıştırırsınız) ve aracı (her çalışan makineye kurulur). Gereksinimler: Node.js 22+, MongoDB 6+ (Meteor 3 değişiklik akışı reaktivitesi için bir kopya seti gereklidir), Meteor 3.4+ ve — üretimde — TLS sonlandırıcı ters proxy (nginx / Caddy / Traefik). Üretim — yeni bir ana bilgisayar sağlayın (Debian 12; Node'u, bir MongoDB kopya kümesini, nginx'i, bir systemd birimini ve ufw'yi yükler): Üretim - bir sürümü dağıtın (derleme → rsync → atomik sembolik bağlantı takası → yeniden başlatma): Sırlar asla işlenmez.

settings.json ${VAR} yer tutucuyu tutar; gerçek değerler .env.prodüksiyonda bulunur ve açılışta settings.runtime.json dosyasına inject-secrets.sh tarafından enjekte edilir. Siz şunları sağlarsınız: bir platform taşıyıcı anahtarı (yalnızca SHA-256 karması olarak saklanır), bir aracı belirteci HMAC imzalama anahtarı, önyükleme yöneticisi parolası ve katman başına bir bulut API anahtarı. Bkz. docs/operator-runbook.md §2 . Her çalışan makine, giden bağlantıyı dengeleyiciye bağlayan (gelen bağlantı noktası yok) ve işleri yerel bir çıkarım motoruna ileten aracıyı çalıştırır. Son kullanıcılar — tek satırlı kurulum (işletim sistemi/arşiv için doğru yapıyı sunar ve SHA-256'sını doğrular): Önce curl -fsSL https://balancer.example.com/install.sh.txt ile inceleyin.