180B Parametreleri, 32GB RAM: Transformers ile MoE Çıkarımını Sınırlara Zorlamak

Özgün başlık: 180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
Açık kaynak ve açık bilim yoluyla yapay zekayı ilerletme ve demokratikleştirme yolculuğundayız.
MoE uzmanlarının doğrudan SSD'den yayınlanması, token üretiminde Strata'nın %6'sı dahilindedir. Çevrimiçi modellere daha az güvenmeye ve daha büyük olanları yerel olarak çalıştırmaya çalışıyorum. Evde iki RTX 4090'lı bir bilgisayarım var (buna Orthrus diyelim - Yunan mitolojisinin iki başlı köpeği) ve iş için 32G birleşik belleğe sahip bir MacBook M5'im var. Orthrus Windows 11'de çalışıyor çünkü çocuklarım sürekli oyun oynuyor. Ubuntu ile çift önyükleme yaptım, ancak oyunları iki terabaytlık diskin çoğunu kapladı. Ayrıca RMD'nin (odaların hareketli gelişimi) büyük bir hayranıyım: bir saat mutfakta kahvemi yudumlayarak, iki saat ofis masamda, sonra kanepede. Sabit bir masaüstü kulesi bana göre değil.
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Streaming MoE experts directly from SSD gets within 6% of Strata on token generation. I've been trying to rely less on online models and run bigger ones locally. At home I have a PC with two RTX 4090s (let's call it Orthrus - the two-headed hound of Greek mythology), and for work I have a MacBook M5 with 32G of unified memory. Orthrus runs on Windows 11, because my kids play games all the time. I had a dual boot with Ubuntu, but their games ended up taking most of the two terabytes of disk. I am also a huge fan of RMD (rooms moving development): one hour in the kitchen sipping my coffee, two hours at my office desk, then the sofa. A fixed desktop tower is not for me.
Estamos en un viaje para avanzar y democratizar la inteligencia artificial a través del código abierto y la ciencia abierta.
La transmisión de expertos de MoE directamente desde SSD se sitúa dentro del 6% de Strata en la generación de tokens. He intentado confiar menos en los modelos en línea y ejecutar modelos más grandes localmente. En casa tengo una PC con dos RTX 4090 (llamémosla Orthrus, el perro de dos cabezas de la mitología griega), y para trabajar tengo una MacBook M5 con 32G de memoria unificada. Orthrus se ejecuta en Windows 11 porque mis hijos juegan todo el tiempo. Tuve un arranque dual con Ubuntu, pero sus juegos terminaron ocupando la mayor parte de los dos terabytes de disco. También soy un gran admirador del RMD (desarrollo de habitaciones en movimiento): una hora en la cocina tomando café, dos horas en el escritorio de mi oficina y luego en el sofá. Una torre de escritorio fija no es para mí.
Мы находимся на пути к развитию и демократизации искусственного интеллекта с помощью открытого исходного кода и открытой науки.
Эксперты MoE по потоковой передаче напрямую с SSD получают в пределах 6% от Strata при генерации токенов. Я стараюсь меньше полагаться на онлайн-модели и запускать более крупные модели локально. Дома у меня есть ПК с двумя RTX 4090 (назовем его Орфрус — двуглавая собака из греческой мифологии), а для работы — MacBook M5 с 32Гб единой памяти. Orthrus работает на Windows 11, потому что мои дети постоянно играют в игры. У меня была двойная загрузка с Ubuntu, но их игры заняли большую часть двух терабайт диска. Я также большой поклонник RMD (развития переезда комнат): один час на кухне, попивая кофе, два часа за офисным столом, затем на диване. Фиксированная настольная башня не для меня.