OpenAI artık SWE-Bench Pro'yu önermiyor

Modellerimizin yeteneklerini doğru bir şekilde ölçmek, OpenAI'ın Hazırlık Çerçevesi⁠(yeni bir pencerede açılır) kapsamındaki kararlar da dahil olmak üzere, sağlam dağıtım ve güvenlik kararları için önemlidir. Her model sürümünde, modelin ilerlemesini takip etmek için çeşitli harici ve dahili kıyaslamaların sonuçlarını raporluyoruz. Değerlendirmelerde sonuçları etkileyen kusurlar olduğunda, bunlar yeteneklere ilişkin yanlış bir anlayışa yol açabilir, güvenlik durumlarını yanlış sunabilir ve araştırma önceliklerini etkileyebilir. Yakın zamanda en yaygın kullanılan kodlama kriterlerinden biri olan SWE-bench Verified'ın temel tasarım ve kontaminasyon sorunlarına sahip olduğunu araştırdık ve değerlendirmenin artık yazılım geliştirme yetenekleri hakkında anlamlı bir sinyal sağlamadığını gördük. O zamanlar daha geniş bir topluluğu SWE-Bench Pro'ya geçmeye teşvik etmiştik. SWE-Bench Pro⁠(yeni bir pencerede açılır), ajansal kodlama yeteneklerini daha iyi izlemek için modelleri daha uzun ufuklarda ve daha gerçekçi kodlama görevlerinde test ederek SWE-bench Verified'ı geliştirmek üzere tasarlanmıştır. SWE-bench Verified'da olduğu gibi görevler, bir dizi genel ve özel depodaki özellik değişikliklerinin geçmişinden programlı olarak elde edilir. Modellerin, mevcut işlevselliği bozmadan bir özellik için yeni testleri geçen bir çözümü uygulaması gerekir. 731 görevlik genel bölünmede, sınır modelleri sekiz ayda %23,3'lük geçiş oranından %80,3'e yükseldi. O zamandan beri SWE-Bench Pro'da benzer bir denetim gerçekleştirdik ve veri noktası analiz hattını kullanarak veri kümesini inceledik.

İşlem hattının incelediği model, olası değerlendirme kusurlarını işaretlemek için göreve, görev meta verilerine ve başarısızlık izlerine ulaşmaya çalışır. İşaretlenen her görev daha sonra birden fazla araştırmacı-temsilci geçişi yoluyla değerlendirildi ve beş deneyimli yazılım mühendisi tarafından bağımsız olarak incelendi; anlaşmazlıklar daha ileri araştırmalar için artırıldı. Veri kümesinin önemli bir bölümünde sorunların çözüldüğüne dair kanıtlar buluyoruz. Veri noktası analizi hattımız 200 (%27,4) hatalı görevi işaretlerken, insan açıklama kampanyası 249 (%34,1) görev tespit etti. Sorunlar temel olarak dört kategoriye ayrıldı: Aşırı katı testler 1 istemde belirtilmeyen belirli uygulama ayrıntılarını zorunlu kılıyor ve işlevsel olarak doğru olan birçok gönderimi geçersiz kılıyor. Yeterince belirtilmeyen istemler 2, gizli testlerin uyguladığı ve makul bir şekilde çıkarım yapılamayan gereksinimleri göz ardı eder. Düşük kapsamlı testler istenen özelliği kontrol eder, böylece eksik düzeltmeler geçebilir.