Millwright – Rust tabanlı, kendi kendine barındırılan LLM yönlendirici
Özgün başlık: Millwright – Rust-based, self-hosted LLM router
Merhaba HN, OpenRouter'ın muhtemelen satın alınacağı ve barındırılan LLM yönlendiricilerinin (yani Ramp Router, Vercel'in AI Ağ Geçidi) çoğalacağı haberiyle birlikte, maliyet tasarrufu, şeffaflık ve performansa odaklanan, kendi kendine barındırılan bir çözüme olan ihtiyacı gördüm. Bu nedenle, kodlama aracıları ile GenAI iş yükleri arasında kolayca bulunabilecek basit bir CLI arayüzüne sahip açık kaynaklı bir yönlendirici oluşturdum. Meraklı ve tembel olanlar için Millwright şu anda aşağıdaki araçlara sahiptir: - Sağlayıcılar: OpenAI uyumlu API'ler, Anthropic, Amazon Bedrock - Yönlendirme: politika kontrollü model rolleri (ucuz, orta, sınır), en ucuz sağlıklı rota seçimi - Protokoller: OpenAI Sohbet Tamamlamaları, Anthropic Mesajlar, metin ve araç çevirisi - Önbellek Yakınlığı: rol kapsamlı oturum şeritleri Eşzamanlı aracı trafiğini serileştirme - Harcama İzleme: ekip başına maliyetler, önbellek kullanımı, model sağlayıcı karışımı, istek izleri - Maliyet Analizi: ölçülen kullanım ve modellenmiş aday ekonomisi (HTML, Markdown, JSON) - Güvenilirlik: sınırlı yük devretme, devre kesiciler, zaman aşımları, eşzamanlılık sınırları - Kurulum: sağlayıcı sırlarını saklamadan etkileşimli sağlayıcı, model ve fiyatlandırma yapılandırması - Dağıtım: bir Rust ikili programı, Docker, SQLite veya PostgreSQL Tam açıklama: kod tabanının bazı bölümleri şununla oluşturuldu: AI kodlama aracıları. Tüm geri bildirimler memnuniyetle karşılanır; özellikle yönlendirme politikası, sağlayıcı kapsamı ve bunları kendi kendinize barındırmanızı engelleyecek herhangi bir şey hakkındaki geri bildirimlere değer veririm. Özellik isteğini açmaktan ve/veya katkıda bulunmaktan çekinmeyin.