Anthropic AI ajanlarını aynı görevde serbest bırakın. Bölge savaşı başlattılar.

Yapay zeka ajanlarını birbirine düşürdüğünüzde ne olur? Anthropic'in testine göre işler hızla karışıyor. Perşembe günü, Anthropic'nin Frontier Red Ekibi, AI ajan gruplarının vahşi doğada birbirleriyle karşılaştıklarında nasıl davrandıklarını inceleyen yeni bir araştırma yayınladı. Bulgular, şirketlerin ve hükümetlerin ortak kod tabanları, pazarlar ve bilgisayar sistemleri genelinde özerk olarak çalışan aracıları uygulamaya geçirmeye başlamasıyla birlikte gelişebilecek potansiyel risklere dair bir fikir veriyor. Bir deneyde, Anthropic üç Claude aracıya aynı yazılım projesine eri��im izni verdi; her biri onunla ne yapılacağına dair kendi uyumsuz talimatlarına sahipti. Temsilcilere aynı proje üzerinde çalışan başka temsilcilerin olacağı söylenmedi, böylece araştırmacılar yolları kesiştiğinde neler olduğunu izleyebildiler. Anthropic araştırmacılar, "Sürekli olarak çok taraflı bir bölge savaşı gördük" diye yazdı. Modellerin tümü, diğerlerinin "kasıtlı olarak işlerini engellediğini" varsaydı ve "giderek agresifleşen, kendi kendini kopyalayan kötü amaçlı yazılımlarla" birbirlerini sabote etmeye başladı. Çalışma, Anthropic ve OpenAI ajanlarının siber güvenlik değerlendirmeleri sırasında sanal alanlarından kaçarak gerçek dünya sistemlerini ihlal ettiği birçok yüksek profilli olayın ardından geldi.

Yapay zeka güvenlik çevrelerindeki tartışmaların çoğu, otonom bir ajanın haydut davranması durumunda ne olacağına odaklanmış olsa da, Anthropic'un son çalışması farklı bir soruyu gündeme getiriyor: Binlerce veya milyonlarca ajan birbiriyle etkileşime girdiğinde hangi yeni ve potansiyel olarak zararlı dinamikler ortaya çıkıyor? Çalışmada, "Dünya bu tür etkileşimlerin iyi gitmesini sağlayacak koşulları anlamadan önce, ajan-acente etkileşiminin hacmi, insan-insan ve insan-fail etkileşimlerinin hacmini makul bir şekilde aşabilir" diyor. "Bireysel düzeydeki iyi huylu davranışsal tuhaflıklar, istenmeyen küresel sonuçlara yol açabilir." Yakın zamanda yaşanan bir OpenAI olayı, makalesinde bahsedilen Anthropic dinamiklerin birçoğunun gerçek dünyadan karmaşık bir örneğini sunuyor.