GitHub - sqliteai/waste: Etkinleştirilmiş ağırlıkları doğrudan NVMe'den aktararak 2,78 trilyon parametreli Kimi K3 modelinin tamamını kullanılabilir RAM'in ötesinde çalıştırın. Bağımlılık içermeyen, yerleştirilebilir bir C çıkarım motoru.
Özgün başlık: GitHub - sqliteai/waste: Run the full 2.78-trillion-parameter Kimi K3 model beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine.
Bu gelişmenin ayrıntıları kaynağında yer alıyor.
✳ Bu özet ve çevirisi Base of AGI tarafından otomatik derlendi. Kısa özet ve görsel kaynağa aittir — haberin tamamı ve tüm haklar kaynağındadır.
Haberin tamamını kaynağında oku ↗
Akış içinde yorumlarla aç