Temsilciler kendi başlarına hareket ettiğinde, yönetişim veri katmanında yaşamak zorundadır

EDB tarafından sunulmuştur İşletmeler, yapay zeka aracılarına daha fazla özerklik (her adımı bir insan onaylamadan planlama, karar verme ve sistemler arasında hareket etme yeteneği) sağladığından, her mimari incelemenin merkezine zor bir soru gelir: Bir aracı, asla yapmaya yetkili olmadığı bir eylemi tamamlamaya çalıştığında, onu gerçekte ne durdurur? Bunlar sizin modelleriniz üzerinde çalışan, altyapınızdaki verilerinize dokunan temsilcilerinizdir ve yaptıklarının sorumluluğu size aittir. Bu sorumluluk sonradan bakıldığında veya kağıt üzerinde var olan ama pratikte olmayan bir dizi soyut politikayla yerine getirilemez. Temsilcilerin o anın bağlamına göre kurallara ihtiyacı vardır çünkü kendi eylemlerine ilişkin ağır basan yargılarda bulunmazlar. Basit bir kural düşünün: Asla arabanın kapısını açmayın. Kelimenin tam anlamıyla takip edildiğinde, bir ajan asla arabaya girip çıkamıyordu. Ancak bağlamı değiştirirseniz (araba az önce çarptı, yangın çıktı, biri yaralandı ve dışarı çıkması gerekiyor), o zaman aslında istediğiniz kural tam tersi olur. Şu andaki bağlam her şeydir. Temsilcilerden akıllıca şeyler yapmalarını istiyoruz; bu akıllı kurallar gerektirir. İçgüdü, aracının etrafına korkuluklar eklemektir: talimatlar, politikalar ve izleme, modelin üzerinde katmanlanmıştır. Bu mekanizmalar önemlidir, ancak yapısal bir sınırı paylaşmaktadırlar: Araba kapısı kuralı, kapıyı gerçekten açıp açmayacağınıza karar vermeniz gereken ana kadar makuldür.

Aracı katmanındaki kontroller, yalnızca aracının çıktısının öngörülebilir olması kadar güvenilirdir ve özerklik, tam da bu çıktının tahmin edilmesini zorlaştıran özelliktir. Bir eylemin gerçekleşmeden önce gözden geçirilmesine dayanan yönetişim, birçok sistemde aynı anda milisaniyeler içinde harekete geçen bir sisteme ayak uyduramaz. Yönetişimin yürütülebilir hale gelmesi ve aracıların fiilen işlerini yaptığı yerde uygulanması gerekir: operasyonel veri katmanında, bağlamda ve tam olarak gerçekleştiği anda. Veri katmanı, Aracıların verilere dokunarak değer yarattığı uygulama noktasıdır. Onu sorguluyorlar, geri alıyorlar, dönüştürüyorlar ve giderek daha fazla harekete geçiyorlar. Bir aracının belirli bir veri sınıfına ulaşmaması gerektiğini söyleyen bir politika, yalnızca sistemin aracının talep ettiği anda bu erişimi reddedebilmesi durumunda anlamlıdır. Ek olarak, yapay zekanın denetlenebilir olması gerektiğini söyleyen bir ilke, yalnızca kuruluşun aracının ne yaptığını, hangi verilere dokunduğunu, hangi kullanıcı için hareket ettiğini ve neyle sonuçlandığını yeniden yapılandırabilmesi durumunda anlamlıdır.