Robot kollarında GPT-6 Astra

Claude Fable 5 ve Fable 5.1 karşılaştırmamızın devamı. OpenAI'in GPT 6 Astra'sına, aynı Inspect Robots temsilci politikası kapsamında aynı YAM kollarının kontrolünü aynı iki görevde verdik: Kırmızı bloğu masadan alın ve kasenin içine yerleştirin. Yuvarlak mavi yapboz parçasını ortasındaki topuzdan tutun ve tahtadaki eşleşen dairesel oluğa yerleştirin. Kase görevinde Astra, bloğu 20 denemeden 19'una, Fable 5.1'in 20 üzerinden 8'ine ve Fable 5'in 20 denemesinden 1'ine, deneme başına 2,5 dakikada Fable 5.1'in 6,8'ine, çalıştırma başına tahmini 0,94 ABD doları ile 2,12 ABD dolarına yerleştirdi. Bulmaca görevi farklı bir hikaye: Astra, yerleştirmeyi Fable 5.1'in 20'de 2'sine karşı 20'de 2 kez tamamladı. Oluğa ulaşıyor ve Fable'ın yaptığı son adımda duruyor, koşu başına 1,36 dolardan 2,18 dolara. Blok içine blok: Her modelin en iyi tamamlanan koşusu (en yüksek aşama, ardından en kısa), her biri kendi zamanında ve aynı hızda oynanır. Zamanlayıcılar, düşünme duraklamalarının kaldırıldığı gerçek geçen süreyi gösterir. Büyük noktalar koşul anlamına gelir; soluk noktalar, masrafları kendilerine ait olmak üzere bireysel denemelerdir (tamamlanmışsa 100, aksi takdirde 0). Her deneme, ulaştığı en yüksek aşamada bir insan derecelendirme uzmanı tarafından puanlandı; dolayısıyla başarısız olan bir koşu, yine de ne kadar ileri gittiğini kaydeder. Değerlendirme listesi Fable raporundakine göre değişmemiştir. Her aşamaya ulaşan model başına deneme payı; Satır başına n, o hücredeki deneme sayısıdır.