Ajan değerlendirme açığı: Kurumsal AI organizasyonlarının gerçeklik uyumu sorunu var, kapsama sorunu değil — ve çoğu yine de üretime gönderiyor

157 kuruluşta kuruluşlar, yapay zeka temsilcilerine daha fazla özerklik verirken, bu özerkliğin daha az sınırlanması anlamına gelen değerlendirmelere güveniyor. Yarısı zaten dahili değerlendirmeleri geçen ve ardından üretimde bir müşteriyi başarısızlığa uğratan bir acenteyi sevk etti; günümüzde yalnızca yirmi kişiden biri otomatik değerlendirmeye tamamen güveniyor; ve en çok bahsedilen zayıflık, değerlendirmelerin gerçek dünyadaki sonuçlarla uyumlu olmamasıdır. Ancak üçte ikisi, döngüde hiçbir insan olmadan, yalnızca otomatik değerlendirmeye dayalı olarak üretimde aracı değişikliklerinin dağıtılmasına zaten izin veriyor veya aktif olarak mühendislik yapıyor. Sonuç olarak bir değerlendirme boşluğu ortaya çıkıyor; şirketlerin temsilcilerine ne kadar özerklik verdikleri ile başarısızlıkları tespit etmesi gereken testlere ne kadar güvendikleri arasındaki fark. VentureBeat Nabız Araştırması'nın bu dalgası, teknik liderlerin temsilci performansını nasıl ölçtüğünü inceliyor: hangi güvenilirlik ve değerlendirme platformlarını kullanıyorlar, bunları nasıl seçip güveniyorlar, üretimde ne gibi kesintiler oluyor ve temsilcilerin döngüde bir insan olmadan çalışmasına ne kadar izin veriyorlar. Temel bulgu, bir değerlendirme boşluğudur; özerklik işletmelerinin temsilcilerine verdikleri mesafe ile bunu yönetmeye yönelik değerlendirmelere duydukları güven arasındaki mesafe. Kuruluşların yarısı (%50) geçen yıl, kendi iç değerlendirmelerini geçen ve ardından müşterinin karşılaştığı bir hataya neden olan bir aracı veya LLM özelliğini devreye aldı ve dörtte biri bunun birden fazla kez gerçekleştiğine tanık oldu.

Testlere olan güven zayıf: Bugün yalnızca %5'i otomatik değerlendirmeye tamamen güvendiğini söylüyor ve en çok bahsedilen sınırlama, değerlendirmelerin gerçek dünyadaki sonuçlarla zayıf bir şekilde uyumlu olmasıdır (%29). İşletmeler, geçici bir değerlendirmenin çalışan bir temsilci ile aynı olmadığını keşfediyor. Boşluğu önemli kılan şey seyahat yönüdür. Kuruluşların üçte ikisi (%66) halihazırda düşük riskli aracılar için tam otomatik, döngüde sıfır insan konuşlandırmasına izin veriyor (%34) veya boru hatlarını on iki ay içinde buna izin verecek şekilde aktif olarak tasarlıyor (%33). Aynı zamanda, bu güveni kazanması gereken değerlendirme yığını parçalı ve olgunlaşmamış: En yaygın birincil araçlar, model sağlayıcıların yerel değerlendirmeleridir ve hiçbir özel araca sahip olmamalarıyla bağlantılıdır (her biri %17); ve işletmelerin yalnızca dörtte biri canlı prodüksiyon trafiği üzerinde gerçek zamanlı kalite kontrolleri gerçekleştiriyor. Özerklik güvenceden daha hızlı geliyor.