OpenAI Jalapeño Çipini Tasarlamak İçin Kendi Yüksek Lisans Derecesini Nasıl Kullandı?

25 Ağustos'ta OpenAI şirketin ilk yapay zeka hızlandırıcı çipi olan Jalapeño'yu tamamen tanıttı. Jalapeño, 13,4 petaflop'a kadar 4 bit bilgi işlem sunar ve mevcut en gelişmiş belleğin 232 gigabaytına erişerek ona saniyede 15,4 terabayt gibi inanılmaz bir hızla bağlanır. OpenAI tarafından belirtilen kıyaslamalar, Jalapeño'nun, şirketin şu anda güvendiği bir çip olan Nvidia'nin GB300'üne kıyasla uçtan uca gecikmeyi (istem ile son jeton arasındaki süre) 3,6 kata kadar azaltabildiğini ve bunu daha az güç tüketerek yaptığını gösteriyor. Jalapeño, OpenAI'nin çıkarım filosunda yaygın hizmete girdiğinde bu rakamların gerçek dünyadaki kazanımlara dönüşüp dönüşmeyeceği henüz bilinmiyor, ancak performans hikayenin yalnızca yarısı. Diğer yarısı ise çipin nasıl tasarlandığıdır; tahmin edebileceğiniz gibi OpenAI'nin geniş dil modelleri (LLM'ler) tarafından hızlandırılan bir süreç.