Yapay zeka kodlama aracıları, gerçek dünya testlerinde hâlâ dört görevin neredeyse üçünde insan tarafından temizlenmeye ihtiyaç duyuyor
Özgün başlık: AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test
Alibaba'ın yeni kodlama aracısı karşılaştırması Co-Design Bench, yapay zeka aracılarını pratikte onları zaten harekete geçiren gerçek kullanıcı istekleri üzerinde test ediyor. En iyi performansı gösteren GPT-6 Astra bile görevlerin yalnızca yüzde 26,4'ünü tam olarak çözüyor.
Daha eski kıyaslamalarda aynı modeller yüzde 99'un üzerinde puan alıyor. Yapay zeka kodlama aracılarının, gerçek dünya testinde neredeyse dört görevden üçünde hala insanların temizlenmesine ihtiyaç duyduğu makalesi ilk olarak The Decoder'da ortaya çıktı.
Alibaba's new coding-agent benchmark, Co-Design Bench, tests AI agents on real user requests that already tripped them up in practice. Even GPT-6 Astra, the top performer, fully solves only 26.4 percent of tasks.
On older benchmarks, the same models score above 99 percent. The article AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test appeared first on The Decoder .
El nuevo punto de referencia de agentes de codificación de Alibaba, Co-Design Bench, prueba agentes de IA en solicitudes de usuarios reales que ya los hicieron tropezar en la práctica. Incluso el GPT-6 Astra, el de mejor rendimiento, resuelve completamente sólo el 26,4 por ciento de las tareas.
En puntos de referencia más antiguos, los mismos modelos obtienen una puntuación superior al 99 por ciento. El artículo Los agentes de codificación de IA todavía necesitan limpieza humana en casi tres de cada cuatro tareas en una prueba del mundo real apareció por primera vez en The Decoder.
Новый тест агентов кодирования Alibaba, Co-Design Bench, тестирует агенты ИИ на реальных запросах пользователей, которые уже сбивали их с толку на практике. Даже самый производительный GPT-6 Astra полностью решает лишь 26,4 процента задач.
В старых тестах те же модели набирают более 99 процентов. Статья «Агентам ИИ-кодирования все еще требуется человеческая очистка почти для трех из четырех задач в реальном тесте» впервые появилась на сайте The Decoder.