OpenAI: Dahili kodlama ajanlarını yanlış hizalamaya karşı izleriz

Yapay zeka sistemleri, gerçek dünya ortamlarında geniş ölçekte daha fazla özerklikle hareket etmeye başlıyor. Yetenekleri geliştikçe, giderek karmaşıklaşan, yüksek etkili görevleri üstlenebilirler ve araçlar, sistemler ve iş akışlarıyla, işbirlikçi insanlara benzer şekilde etkileşimde bulunabilirler. OpenAI misyonunun temel bir parçası, dünyanın AGI'ye bu geçişi sorumlu bir şekilde yönlendirmesine yardımcı olmaktır. Bu, yalnızca son derece yetenekli sistemler oluşturmak değil, aynı zamanda yetenekleri arttıkça bunları güvenli bir şekilde dağıtmak ve yönetmek için gereken yöntemleri, altyapıyı ve yaklaşımları da geliştirmek anlamına gelir. Dahili olarak konuşlandırılan aracıları izlemek, bunu yapmanın en önemli yollarından biridir ve hem gerçek dünyadaki kullanımdan öğrenmemize hem de ortaya çıkan riskleri belirleyip azaltmamıza olanak tanır. Geçtiğimiz birkaç ay içinde, daha geniş güvenlik yaklaşımımızın bir parçası olarak dahili olarak kullandığımız kodlama aracıları için bir izleme sistemi oluşturduk ve geliştirdik. Bu yazı, sistemin nasıl çalıştığını, şu ana kadar öğrendiklerimizi ve aracılık yetenekleri gelişmeye devam ettikçe bu yaklaşımın nasıl geliştiğini gördüğümüzü anlatıyor. Gelişmiş kodlama aracılarını dahili olarak kullanmak, bize bunların gerçekçi iş akışlarında nasıl davrandıklarını ve kullanıcıların bu aracıları çok çeşitli ortamlarda karmaşık, araç açısından zengin görevlere nasıl uyguladıklarını anlama fırsatı verir.

OpenAI'deki dahili kodlama aracısı dağıtımları aynı zamanda yanlış hizalamaya yönelik benzersiz risk faktörlerini de beraberinde getirir: seçilmiş dahili OpenAI sistemlerine erişimleri vardır, korumalarının belgelerini ve kodlarını inceleyebilir, hatta bu korumaları değiştirmeye çalışabilirler ve gelecekteki sürümlerini etkileyebilecek şekillerde eylemler gerçekleştirebilirler. Bu özellikler, dahili dağıtımları izleme altyapısında yenilik yapmak için benzersiz derecede önemli bir ortam haline getiriyor ve benzer koruma önlemlerinin sektör genelinde dahili kodlama aracısı dağıtımları için standart olması gerektiğine inanıyoruz. Yaklaşımımız ve nasıl çalışıyor Yetenekler ilerledikçe, hem modelin eylemleri hem de dahili muhakeme dahil olmak üzere eylemli davranışın izlenmesinin giderek daha önemli bir güvenlik aracı haline geleceğine inanıyoruz. Dahili kodlama aracılarını izlemek, hem yanlış hizalanmış davranışların ne sıklıkta meydana geldiğini hem de pratikte nasıl göründüğünü anlamamıza yardımcı olur.