Kimi K3 ağırlıkları bugün düşüyor. Bu hafta A100'ler, H200'ler ve B300'lerde dağıtım yapıyoruz ve A100 matematiği zaten zor.
Özgün başlık: Kimi K3 weights drop today. We're deploying on A100s, H200s and B300s this week and the A100 math is already rough
Ana içeriğe atlaKimi K3'ün ağırlıkları bugün düşüyor. Bu hafta A100'ler, H200'ler ve B300'ler üzerinde dağıtım yapıyoruz ve A100'ün matematiği zaten kabataslak: r/LocalLLaMA Menüyü aç Gezinmeyi aç Reddit Ana Sayfasına Git KaydolReddit'e kaydolunGiriş YapınReddit'te oturum açın Kullanıcı menüsünü genişletin Ayarlar menüsünü açın LocalLLaMA'ya gidin r/LocalLLaMA•2 saat önce qubridInc Kimi K3 ağırlıkları bugün düştü. Bu hafta A100'ler, H200'ler ve B300'ler üzerinde dağıtım yapıyoruz ve A100'ün matematiği zaten kabaca; K3'ü A100'lerde ağırlayacağız (evet, bu doğru, dayanıp dayanamayacağını görmeye çalışacağız), H200'ler ve B300'ler - bu hafta B300 kümesini kurarken A100'ler ve H200'ler için sonuçları bekliyoruz ve belki de gelecek haftaya kadar sonuçlar bekliyoruz. Ağırlıkların bugün Hugging Face olması bekleniyor (Moonshot 27 Temmuz'a bağlı). Platform belgelerinden zaten bildiklerimiz: Toplam 2,8 ton Param, 896 uzman ve token başına 16 aktif uzmanla MoE, 1 milyon bağlam, vizyon. MXFP4'te kuantizasyona duyarlı eğitim yaptıkları için indirmenin 1,4 tb civarında olması gerekiyor. Oturduk ve bellek gereksinimleri üzerinde çalıştık, işte burada, çünkü muhtemelen herkes ağırlığını çekmek üzeredir. A100 80GB, H200 ve B300 kapasitemiz var ve plan��mız bunu üçünde de gündeme getirmekti. Sonra aslında hafıza matematiğini yaptık. 8x A100 size 640 GB verir. Ağırlıklar 1,4 TB civarındadır. Bu, KV önbelleğini ayırmadan önce üç düğüm anlamına gelir. Üstüne üstlük Ampere'de FP4 ve hatta FP8 tensör çekirdeği yok, dolayısıyla bu sürüm için hiçbir zaman hedef olmayan INT4 çekirdeklerini ya dekuantize ediyorsunuz ya da çalıştırıyorsunuz.
Yine de bunu kıyaslayacağız çünkü birisinin gerçek sayılara sahip olması gerekir, ancak bunun çirkin olmasını bekliyoruz! 8x H200 yaklaşık 1,13 TB boyutunda olduğundan hâlâ tek bir düğüme sığmıyor. Minimum iki düğüm kurulumu ve her jetonda ara bağlantı maliyetinden yararlanırsınız. 8x B300 ~2,3 TB'dir, yani uzun bağlam KV önbelleği için her şeyin tek bir düğüme sığdığı tek yapılandırma budur. Ve Blackwell'in yerel FP4'ü var, bu da oldukça açık bir şekilde Moonshot'nin nicelikselleştirdiği şey. bu B300'ler bu hafta sonu yayına girecek ve bu hafta sonu kümeleri kuracağız, donanımı önceden taahhüt eden herkes bunu şartları bilmeden yapıyor.