OpenAI popüler AI kodlama testinin kabaca yüzde 30'unun bozuk olduğunu tespit ediyor

OpenAI Yapay zeka modellerinin programlama becerilerini ölçmek için yaygın olarak kullanılan bir test olan SWE-Bench Pro'yu inceledi ve görevlerinin yaklaşık yüzde 30'unun bozuk olduğunu buldu. Şirket, kıyaslama için daha önce verdiği desteği geri çekiyor. Bunun gibi testlerden elde edilen sonuçlar, OpenAI'nin Hazırlık Çerçevesi kapsamındaki güvenlik değerlendirmeleri de dahil olmak üzere, bir modelin yayınlanıp yayınlanmayacağı ve nasıl yayınlanacağına ilişkin kararları besler. Bir test hatalar içerdiğinde, yapay zekanın gerçekte neler yapabileceğine dair yanıltıcı bir tablo çizebilir. İncelemeyi çalıştırmak için OpenAI ilk olarak 286 şüpheli görevi işaretleyen otomatik bir tarama aracını devreye aldı. Codex üzerine inşa edilen yapay zeka ajanları, bir insan araştırmacı son kararı vermeden önce her vakayı ayrıntılı olarak inceledi. Bu süreçte 200 görev (yüzde 27,4) kusurlu olarak etiketlendi. Paralel bir incelemede, beş deneyimli yazılım geliştiricisi aynı durumları değerlendirdi ve daha da fazlasını, 249 görevi (yüzde 34,1) işaretledi. Her iki taraf da vakaların yüzde 74'ünde hemfikir olsa da, insan incelemeciler yapay zeka ajanlarından daha katıydı. Reklam OpenAI sorunları dört kategoriye ayırır. Bazı testler çok katıdır ve gerçekten işe yarayan çözümleri reddeder. Diğerleri ise yapay zekanın gizli test senaryolarında gömülü olan gereksinimleri karşılamasını bekleyerek çok belirsizdir. Bazı testler çok yüzeysel olduğundan eksik çözümlerin geçmesine neden olur. Ve bazı görev tanımları basitçe yanlış yöne işaret ediyor. OpenLibrary projesinden bir örnek: görev açıklaması tek bir alan gerektiriyordu, ancak gizli test iki alan bekliyordu. Talimatları doğru şekilde takip eden bir yapay zeka başarısız olur.

Reklam DEC_D_İçerik-1 Görevler, yapay zeka modelleri için temiz değerlendirme görevleri olarak tasarlanmamış, orijinal olarak insan işbirliği için yazılmış gerçek yazılım projelerinin taahhüt geçmişlerinden alınmıştır. OpenAI'a göre, bu projelerin testleri çok katı olma eğilimindedir çünkü bunlar genel amaçlı gereksinimler olarak hizmet etmek için değil, belirli bir değişikliği doğrulamak için yapılmıştır. Testin 731 görevden oluşan halka açık versiyonunda en iyi modeller yalnızca sekiz ayda yüzde 23,3'ten yüzde 80,3'e çıktı. SWE-Bench Pro'nun, OpenAI'nin benzer nedenlerle zaten reddettiği eski SWE-bench Verified'ın yerini alması amaçlanmıştı. Bu sefer OpenAI belirli bir değişim önermiyor. Şirket, sektörü yalnızca deneyimli geliştiricileri kullanarak, oynanması zor, güvenilir ve gerçekten anlamlı olan yeni ölçütler oluşturmaya çağırıyor.