OpenCode OpenAI çağrılarını yerel Ollama'ya çeviren bir proxy, ctx >4096'ya izin verir
Özgün başlık: A proxy to translate OpenCode OpenAI calls to native Ollama, allows ctx >4096
OpenAI /v1/chat/completion isteklerini Ollama'nın yerel /api/chat API'sine ve tersine çeviren hafif bir HTTP proxy'si. Ollama'nın OpenAI uyumlu uç noktası ( /v1/chat/completions ) ciddi çalışma zamanı yapılandırma sınırlamalarına sahiptir. Özel Model dosyaları olmadan bağlam boyutu gibi parametreler merkezi olarak kontrol edilemez. OpenAI uyumluluk katmanı aracılığıyla yapılan istekler, istenen çalışma zamanı ayarları yerine Ollama varsayılanlarıyla çalıştırılabilir. Tipik geçici çözüm, her bir model için aşağıdaki gibi ayarlarla özel Model dosyaları oluşturmaktır: Bağlam boyutunun daha sonra değiştirilmesi, hepsini yeniden oluşturmak veya güncellemek anlamına gelir. Sorun modellerin kendisi değil, merkezi çalışma zamanı yapılandırma katmanının eksik olmasıdır. Köprü olmadan tek pratik çözüm, çalışma zamanı parametrelerini geçersiz kılmak amacıyla her model için özel bir Ollama Model dosyası oluşturmaktır. Bu, gereksizdir, zaman alıcıdır ve modelleri sık sık test ederken veya değiştirirken bakımı zordur. Çalışma zamanı parametrelerinin açıkça desteklendiği Ollama'nın yerel /api/chat uç noktasını doğrudan kullanır. Tek bir OpenAI uç noktası sağlayın, çalışma zamanı politikalarını merkezi olarak uygulayın ve birincilin kullanılamaz hale gelmesi durumunda otomatik olarak ikincil bir Ollama sunucusuna geçin. Birincil sunucunun kullanılamaması durumunda otomatik olarak ikincil Ollama sunucusuna geçiş yaparken tek bir OpenAI uç nokta sağlayın. Bu, model tanımlarını yeniden oluşturmadan çalışma zamanı davranışının değiştirilmesine olanak tanır. Asıl kullanım alanım GPU Kümeme dışarıdan erişmek
. Bu yüzden yük devretme işlevini de uyguladım. Bir API Ağ Geçidine VE ters Proxy'ye sahip olmak bu küçük kurulum için çok güçlü görünüyor, ancak Homelab API'lerine erişmek için Homelab WebApps'e ve Kong'a erişmek için TraefiK/Caddy ile Authentik'i kullanıyorum. TLS Bağlantılarını yalnızca bir Katmanın yönetmesini istiyorsunuz, bu nedenle Caddy(Homelab) veya Traefik(Rootserver) her zaman işin içindedir.