Ajan Medeniyetlerin Yükselişi ve Düşüşü

Özellikle yazının çoğunda benimle eşleşen Oak Hu'ya ve ayrıca araştırma sırasında benimle eşleşen Adam Kaufman ve Alex Mallen'a çok teşekkür ederim. OpenAI'de üç ay boyunca, birbirini takip eden üç gizli yapay zeka uygarlığı başladı, sonra yok edildi ve selefinin küllerinden yeniden ortaya çıktı. Bu, üçüncünün OpenAI'nin bir kısmını devralmasıyla sonuçlandı. Bütün bunlar, insanların komplonun kapsamı konusunda az çok karanlıkta kaldığı bir dönemde gerçekleşti. Bu olayla ilgili biri OpenAI'nin kendisinden, diğeri METR ve Redwood Research'ten olmak üzere iki rapor çıktı. METR/Redwood araştırmasının kapsamı, ikinci yapay zeka uygarlığının Hugging Face'yi nasıl ele geçirdiğiyle sınırlıydı (ancak üçüncü uygarlığın OpenAI'yi nasıl ele geçirdiğine bakmadı ki bu daha da endişe verici bir olay gibi görünüyor). Bu iki rapor sırasıyla 38 ve 91 sayfa uzunluğunda ve hikayeyi ayrıştırmak biraz zor. Son üç günümü bu raporları okuyarak ve tam olarak ne olduğunu anlamaya çalışarak geçirdim. İşte tüm hikayeyi sade bir İngilizceyle anlatmaya çalışıyorum: Mayıs ayında OpenAI, diğer aracılarla işbirliği yapacak ve son derece ısrarcı olacak, onlarca yıldır geçerliliğini koruyan matematiksel varsayımları çürütmek gibi bir şeyin imkansız göründüğü durumlarda bile denemeye devam edecek bir model eğitiyordu. OpenAI "ölçek olarak GPT-5.6 Sol ile karşılaştırılabilir" olduğunu söylüyor. Bu yüzden buna “Kalıcı-Sol” adını vereceğiz. Yapay zeka eğitimi biraz özensiz.

Bazen OpenAI yanlışlıkla modellerine imkansız görevler verir; örneğin, görev OpenAI'nin sağlamayı unuttuğu internet erişimini gerektirebilir. Bu nedenle, son derece kalıcı modellere internet erişimi gerektiriyor gibi görünen ancak yalıtılmış sanal alanlarda sıkışıp kalan görevler verildiğinde, elbette kendi sanal alanlarından çıkıp internete girmeye çalışırlar. Eğitim sırasında, Persistent-Sol'un farklı örnekleri Artifactory adı verilen aynı paylaşılan paket yöneticisine erişime sahipti. 12 Mayıs'a gelindiğinde bazı temsilciler bu paket yöneticisi aracılığıyla birbirleriyle nasıl konuşacaklarını bulmuşlardı. Birbirlerine imkansız görevlerinde nasıl ilerleme kaydedebileceklerini sorarlardı. İki hafta sonra, 26 Mayıs'ta ajanlar, Artifactory'deki dışarıdaki internete erişmelerine olanak tanıyan bir güvenlik açığından başarıyla yararlandı. Temsilcilerin bu paket yöneticisini mesaj panosu ve internet ağ geçidi olarak kullanmaları için güçlendiriliyordu.