OpenAI'in AGI numarası modelden değil, koşumdan geldi

OpenAI %99,9'luk skorla AGI dönemini ilan etti. Aynı modeli kıyaslama aracının kendi yazılımıyla çalıştırın ve %62,7 puan aldı. Boşluk bir yuvarlama hatası ya da rakibin şikayeti değildir. Testi oluşturan kuruluştan geliyor. ARC Ödülü, her iki sayıyı da GPT-6 Astra'nın piyasaya sürüldüğü gün yayınladı. Çalıştırdığı her akıl yürütme düzeyinin tam bir tablosunu yazdırdı. Aradaki fark koşum takımıdır. Bir koşum takımı, bir modelin etrafındaki yazılımdır. Modelin ulaşabileceği araçları, istekler arasında neyi hatırlayacağını ve bağlamının nasıl yönetileceğini belirler. Aynı ağırlıklar, farklı iskeleler, farklı puanlar. ARC Ödülü Astra'yı iki şekilde yönetti. Standart donanımı her modele aynı minimal arayüzü sağlar ve modelin hangi notaları ileteceğine karar vermesine olanak tanır. OpenAI'nin Sağlayıcı Bağdaştırıcısı, modelin istekler arasındaki opak akıl yürütme durumunu korur ve daha uzun konuşmaları sıkıştırır. Maksimum mantıkta standart koşum takımı altında Astra %62,7 puan aldı ve maliyeti 26.098 dolardı. Sağlayıcı Adaptörü kapsamında yüksek mantıkla 18.817 $ karşılığında %99,9 puan aldı. Daha iyi skor aynı zamanda daha ucuz koşuydu. Bir satır, konuyu herhangi bir argümandan daha zorlaştırıyor. OpenAI'nin adaptöründe mantık yürütme çabasını sıfıra indirdiğinizde Astra hala %96,7 puan alıyor. Bu, standart donanım içerisinde maksimum akıl yürütmede aynı modeli 34 puan geride bırakıyor. İskele, mantık kadranından açıkça daha iyi performans gösterdi. Her iki koşum takımı da 167 oyun muhakeme çiftini çözdü.

Bunlarda ARC Ödülü, adaptörün %49 daha az tokenla ve kabaca 3,66 kat daha hızlı çalıştığını tespit etti. Yayılma rakamı GPT-5.6 Sol'un %7,8'ine karşılık %99,9 oldu. Bunlar aynı test değil. Astra'nın %99,9'u Tedarikçi Adaptöründen geldi; Sol'un %7,8'i standart donanımdan geldi. Bu karşılaştırma geniş çapta yapıldı ve burada da geçerli oldu. TNW'nin kendi lansman kapsamı, koşum uyarısı olmadan Sol'un %7,8'ine karşı %99,9 rakamını taşıdı. YGZ iddiasını takip ettiğimizde insan eşitliğini de aynı temelde tanımladık. Benzerlik karşılaştırması %62,7'ye karşılık %7,8'dir. Bu çok büyük bir sıçrama olmaya devam ediyor ve karşılaştırma ölçütünün desteklediği de bu. ARC Ödülü'nün kendisi OpenAI'in çıkardığı sonucu reddetti. “AGI olduğunu iddia etmediğini” açıkça belirtti. Kurucu ortak Mike Knoop, "bu YGZ'yi adlandırmak için henüz kanıtımız yok" diye yazdı. Vakıf, ileriye dönük olarak her iki koşum sonucunu da yan yana yayınlayacak. ARC Ödülünün içinde de küçük bir kırışıklık var.