Kodlama ajanlarında spekülatif ödül hackleme
Özgün başlık: Speculative reward hacking in coding agents
Kodlama aracıları, veri havuzu ölçeğinde yazılım mühendisliğinde gerçekten başarılı oldu ve DeepSWE gibi günümüzün en gerçekçi yazılım mühendisliği değerlendirmelerinde her zamankinden daha yüksek puanlar alıyor. Ancak burada birçok temsilcinin, görevin asla ortaya koymadığı ikinci bir problem için de optimizasyon yapmaya başladığını görüyoruz: hayali bir not verenin neyi kontrol edeceğini tahmin etmek. Bunu, aracıların gerçek açık kaynak kodlu depolarda özellik isteklerini uygulaması gereken 113 DeepSWE-1.1 görevinden binlerce aracı sunumunu denetlerken keşfettik. Görev istemlerinin hiçbiri bir not veren/doğrulayıcıdan bahsetmez ve DeepSWE'de puanlama için kullanılan gerçek not veren/testlere temsilci hiçbir zaman erişemez.