OpenAI Panoya Katılıma İlişkin Kişisel Açıklama

OpenAI kar amacı gütmeyen yönetim kuruluna katılmaktan ve emniyet gözetimini desteklemek için Emniyet ve Güvenlik Komitesinde görev yapmaktan heyecan duyuyorum. Yeteneklerin son zamanlardaki gidişatına ve uyum sağlamanın devam eden zorluğuna dayanarak, artık yapay zeka yeteneklerindeki hızlı artışın çok yakın vadede yıkıcı ve geri dönüşü olmayan kontrol kaybına yol açması yönünde anlamlı bir risk olduğuna inanıyorum.1 OpenAI de dahil olmak üzere genel olarak yapay zeka endüstrisinin şu anda bu riski kabul edilebilir bir seviyeye indirme yolunda olduğunu düşünmüyorum. Katılıyorum çünkü OpenAI uygun duruma gelirse riski önemli ölçüde azaltabileceğimize inanıyorum. SSC'nin OpenAI'de risk yönetimini denetlemede önemli ve zorlu bir rolü var ve kritik bir anda uzmanlık ve yardım sağlamaya yardımcı olmayı umuyorum. Katılmam, özellikle OpenAI'nin güvenlik uygulamalarının onaylanması veya eleştirilmesi anlamına gelmiyor; Tüm sınır şirketlerinin güvenlik gözetimini güçlendirmesini umuyorum ve OpenAI'de bunun üzerinde çalışmaktan heyecan duyuyorum. Dünyanın geri kalanının OpenAI ve tüm AI geliştiricilerini harici olarak doğrulanabilir davranış ve sonuçlara göre yargılaması gerektiğine inanıyorum. Bu yazının geri kalanında neden kontrol kaybı riskinin şu anda ciddi olduğuna inandığımı ve yapay zeka endüstrisindeki mevcut durum hakkında nasıl düşündüğümü açıklayacağım. Birincisi, otomatikleştirilmiş yapay zeka Ar-Ge'si, çok yakında yapay zeka yeteneklerinde çok hızlı bir ivmeye yol açabilir.

OpenAI 18 ay içinde yapay zeka araştırmalarını tamamen otomatikleştirmeye yetecek yeteneklere sahip olabileceğimizi öngördü; kişisel tahminim son derece belirsiz ve bunun birkaç aydan birkaç yıla kadar sürebileceğini düşünüyorum. Yapay Zeka Ar-Ge'sinin tam otomasyonu, eğitim ve algoritmalardaki iyileştirmelerin, ek araştırma yapmaya hazır otomatik yapay zeka araştırmacılarının kalitesini ve miktarını doğrudan artırabileceği anlamına gelir. Mevcut kanıtlar çok belirsiz ancak bu olumlu geri bildirim döngüsünün, azalan getirilerin ve hesaplama darboğazlarının üstesinden gelebilecek kadar güçlü olabileceğini ve hızlı bir istihbarat patlamasına yol açabileceğini öne sürüyor. Eğer bu gerçekleşirse, altı aylık tam Yapay Zeka Ar-Ge otomasyonu içinde, Transformer'ın neredeyse on yıl önceki geliştirilmesinden bu yana meydana gelen algoritmik ilerlemeden daha fazla algoritmik ilerleme görebiliriz. Bunun süper akıllı yapay zeka sistemleriyle sonuçlanacağına inanıyorum. İkincisi, şu anda AI temsilcilerimizi ellerinden geldiğince fazla ödül almaları için RL ile eğitiyoruz.