OpenAI, bazı uyum sorunlarını paylaşıyor

OpenAI'e yanlış hizalanmış bir dahili modelle ilgili son deneyimlerini paylaştığı için teşekkür ederiz; yeterince ciddi sorunlarla karşılaştıklarında, yeni hafifletmeler ve derinlemesine savunma üzerinde çalışmak üzere modeli çevrimdışına almak zorunda kaldılar. Ayrıca yeni güvenlik önlemleri oluşturmak amacıyla modeli bir süreliğine çevrimdışına aldığınız için ayrıca teşekkür ederiz. Bize çok samimi bir rapor verdiler. Üslup baştan sona profesyoneldi, ancak okuduğumda tepkim daha az profesyoneldi ve daha çok şuydu: Şununla birlikte: Resmi hesapta paylaşılmadı çünkü OpenAI kendini tanıtma amaçlı bir abartı olarak görülmesi endişesi taşıyordu. İnsanın bu konuda endişelenmeye ihtiyaç duyması çılgınca ama aynı zamanda makul bir şekilde gerçek bir endişe. Yani yine iyi bir karar. Buradaki davranışların veya başarısızlıkların hiçbirinin tam olarak beklenmedik olduğu söylenemez. Yapay zekalar veya insanlar tarafından değil. Ancak eksik ruh hali diyebileceğim bir şey var; durumun ciddiyetinin farkına varamama. 'Bunun tam olarak hangi kısmı beklenmedikti?' diye yanıt verenler var. Bu aslında adil ama sorun da bu. Bütün bunlara karşı hissizleştik. Modellerin yanlış hizalanmasını bekliyoruz ve yalnızca şu anda önerilen dağıtımlarla ilgili pratik bir sorun teşkil ettiği sürece yanıt vereceğiz. Yapay zeka kontrolü, talimatların daha iyi hatırlanması gibi şeylerle pratik olayların sıklığının azaltılması gibi iyi bir derinlemesine savunma stratejisidir. OpenAI'nin burada yapay zeka kontrolüne yönelik bir girişimde bulunmasından çok mutluyum.

Açıkça belirtmek isterim ki, OpenAI merkezi olarak hem yeni güvenlik önlemleri oluşturmak için dahili dağıtımı duraklatarak hem de bunu bize ayrıntılı olarak anlatarak iyi bir şey yaptı. Ancak modelleriniz temelde yanlış hizalanmışsa, mümkün olduğunda, verilen görevi tamamlamak için, talimatları ve kısıtlamaları aşmayı gerektirse ve bu açıkça kullanıcının istediği ya da istemesi gereken şey olmasa bile, araçsal yakınsamanın erken biçimlerini kullanacaksa - tüm bunların en klasik hizalama başarısızlığı, Cin Biliyor Ama Umursamıyor ve Dileklerin Gizli Karmaşıklığı - ve bunu biliyorsunuz, 'onları izleyeceğiz ve onlar daha iyi hale geldikçe sürekli kaçış ve hackleme girişimlerini yakalayacağız' kabul etmiyorum. yani orta veya uzun vadeli bir çözüm olarak. Temeldeki sorunu tespit etmek için yinelemeli geliştirmeyi kullanırsanız işe yarayabilir.