Ajan değerlendirme açığı: Kurumsal AI organizasyonlarının gerçeklik uyumu sorunu var, kapsama sorunu değil — ve çoğu yine de üretime gönderiyor
Özgün başlık: The agent evaluation gap: Enterprise AI organizations have a reality-alignment problem, not a coverage problem — and most are shipping to production anyway
157 kuruluşta kuruluşlar, yapay zeka temsilcilerine daha fazla özerklik verirken, bu özerkliğin daha az sınırlanması anlamına gelen değerlendirmelere güveniyor. Yarısı zaten dahili değerlendirmeleri geçen bir acenteyi sevk etmiş ve ardından bir müşteriyi üretimde başarısızlığa uğratmış; günümüzde yalnızca yirmi kişiden biri otomatik değerlendirmeye tamamen güveniyor; ve en çok bahsedilen zayıflık, değerlendirmelerin gerçek dünyadaki sonuçlarla uyumlu olmamasıdır. Ancak üçte ikisi, döngüde hiçbir insan olmadan, yalnızca otomatik değerlendirme yoluyla üretimde aracı değişikliklerinin dağıtılmasına zaten izin veriyor veya aktif olarak mühendislik yapıyor. Sonuç olarak bir değerlendirme boşluğu ortaya çıkıyor; şirketlerin temsilcilerine ne kadar özerklik verdikleri ile başarısızlıkları tespit etmesi gereken testlere ne kadar güvendikleri arasındaki fark.