← Gündem

Açık Kaynak

180B Parametreleri, 32GB RAM: Transformers ile MoE Çıkarımını Sınırlara Zorlamak

huggingface.co · 18.11.2026 · Base of AGI özeti

180B Parametreleri, 32GB RAM: Transformers ile MoE Çıkarımını Sınırlara Zorlamak
Base of AGI haber kartı · yayıncının görseli «Çerez tercihleri → Dış medya» onayıyla gösterilir

Özgün başlık: 180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

Açık kaynak ve açık bilim yoluyla yapay zekayı ilerletme ve demokratikleştirme yolculuğundayız.

MoE uzmanlarının doğrudan SSD'den yayınlanması, token üretiminde Strata'nın %6'sı dahilindedir. Çevrimiçi modellere daha az güvenmeye ve daha büyük olanları yerel olarak çalıştırmaya çalışıyorum. Evde iki RTX 4090'lı bir bilgisayarım var (buna Orthrus diyelim - Yunan mitolojisinin iki başlı köpeği) ve iş için 32G birleşik belleğe sahip bir MacBook M5'im var. Orthrus Windows 11'de çalışıyor çünkü çocuklarım sürekli oyun oynuyor. Ubuntu ile çift önyükleme yaptım, ancak oyunları iki terabaytlık diskin çoğunu kapladı. Ayrıca RMD'nin (odaların hareketli gelişimi) büyük bir hayranıyım: bir saat mutfakta kahvemi yudumlayarak, iki saat ofis masamda, sonra kanepede. Sabit bir masaüstü kulesi bana göre değil.

✳ Bu özet ve çevirisi Base of AGI tarafından otomatik derlendi.
Orijinal Kaynak Metni (huggingface.co) ↗ Akış içinde yorumlarla aç

İlgili AI haberleri