Watt başına performansın AI altyapı verimliliği için nihai ölçüt olmasının nedeni

Güç, yapay zeka altyapısının kaçınılmaz kısıtlamasıdır. Bir yapay zeka fabrikasının sabit bir güç bütçesi dahilinde kaç token üretebileceği, gelirini ve karlılığını belirler. Bu nedenle, oynanamayan, yalnızca gerçek dünyadaki sonuçlarla kazanılan bir ölçüm olan watt başına performans, yapay zeka fabrikalarının temelini oluşturur. Ajansal yapay zeka, token talebini artırdıkça, kuruluşların bugün alacağı altyapı kararları, gücün kısıtlı olduğu bir dünyada kimin ölçeklenip kimin ölçeklenemeyeceğini belirleyecek. Bugün neredeyse her sınır yapay zeka modeli, uzmanların karışımı (MoE) mimarisi üzerinde çalışıyor. MoE'nin raf ölçeğinde sunulması, sistem ve yazılım yığınının her katmanında ortak tasarım ve ayrıca bu modellerin gerçek üretim yükü altında çalıştırılmasıyla kazanılan operasyonel derinliği gerektirir. NVIDIA Blackwell NVL72 platformuyla, bu raf ölçekli temel zaten oluşturulmuş ve kanıtlanmıştır; gelirleri en üst düzeye çıkarmak için watt başına en yüksek performansı ve kar marjlarını en üst düzeye çıkarmak için en düşük belirteç maliyetini sunar. NVIDIA Vera Rubin platformunun, raf ölçeğinde enerji verimliliğini daha da artırmak için üzerine inşa ettiği temel budur. Her yeni nesil öncü model, daha fazla zekanın kilidini açan mimari değişiklikler getirirken aynı zamanda geniş ölçekte verimli bir şekilde çalışmak için yeni optimizasyonlar gerektirir. En yeni nesil önde gelen açık modellerde, NVIDIA GB300 NVL72, NVIDIA Hopper nesliyle karşılaştırıldığında watt başına 25 kata kadar performans sunar.

Bu rakamlar, Blackwell'in bugün nerede durduğunu ve gelişmeye devam eden bir başlangıç ​​noktasını yansıtıyor. Herhangi bir tek sayı hikayenin yalnızca bir kısmını anlatır. Farklı iş yükleri farklı çalışma noktaları gerektirir: Bazıları gecikme için optimize eder, bazıları ise aktarım hızı ve maliyet için optimize eder ve çoğunun ikisi arasında geçiş yapması gerekir. Bu çalışma noktalarını en iyi şekilde temsil etmek için NVIDIA, tek bir nokta yerine her model için Pareto eğrilerini gösterir ve doğrulama için tek bir GPU saati harcamadan önce ekiplerin Pareto sınırında en uygun noktalarını bulmalarına yardımcı olmak için DynoSim gibi araçlar sağlar. Blackwell'in sunduğu watt başına performans NVIDIA olağanüstü ortak tasarımın bir sonucudur: silikondan yazılıma kadar raf ölçekli sistemin her bileşeni, yapay zeka çıkarım iş yükleri için jeton verimini en üst düzeye çıkarmak üzere birlikte tasarlanmıştır.