OSS, K8s - native AI platform for distributed multi - model inference

Herkese merhaba, axem'in kurucularından biriyim. Kendi altyapınızda birden fazla LLM çalıştırmayı daha az acı verici hale getirmek için üzerinde çalıştığımız bir proje olan açık kaynaklı Shaide'ı kısa süre önce açtık. Oldukça basit bir şekilde başladı. Bir modeli çalıştırmak işin zor kısmı değildi. İşin zor kısmı, aynı anda çalışan birkaç modele ihtiyaç duyduğumuzda, bunları GPU düğümleri arasında bağımsız olarak ölçeklendirdiğimizde, istekleri kopyalar arasında yönlendirdiğimizde ve harici bir bulut hizmetine ihtiyaç duymadan tüm kurulumu tekrarlanabilir hale getirdiğimizde ortaya çıktı. Zamanla bu altyapının çoğunu tek bir platformda oluşturmaya karar verdik ve bunu şirket içinde tutmak yerine açık kaynak olarak kullanmanın daha mantıklı olduğuna karar verdik. Mevcut kurulum: - Çıkarım için vLLM - Çoklu örnek orkestrasyonu için llm-d - bağımsız olarak çalışan ve ölçeklenen birden fazla model - Konteyner görüntüleri için dahili OCI kaydı KV-önbelleğe duyarlı planlama + model ağırlıkları OpenAI-uyumlu API - platformun tamamı kod olarak altyapı olarak yönetilir - Docker'dan mevcut bir Kubernetes kümesine karşı çalışan etkileşimli yükleyici - küme çıkışı olmadan tamamen hava boşluğuyla çalışabilir şirket içi RKE2 ve EKS GKE AKS. Proje Apache 2.0'dır ve henüz oldukça erkendir, dolayısıyla daha fazla insan denedikçe kesinlikle değişecek şeyler olacaktır.