OpenAI Black Hat'teki Hugging Face olayıyla ilgili ilk ayrıntılı bilgiyi veriyor

Bugün Las Vegas'taki yıllık Black Hat siber güvenlik konferansında yoğun bir oturuma katıldım; burada OpenAI, ilk olarak 16 Temmuz'da kamuya açıklanan Hugging Face'yi tehlikeye sokan yapay zeka odaklı siber güvenlik olayının ilk ayrıntılı kamuya açık yeniden inşasını gerçekleştirdi. Sunum sırasında, OpenAI hizalama ve güvenlik araştırmacısı Eric Wallace ve OpenAI altyapı ve güvenlik mühendisi Michael Dalton, şimdiye kadar gördükleri "yapay zeka yeteneklerinin niteliksel açıdan en ilginç örneğini" anlattılar; burada dahili sınır modeli değerlendirmesinin, otonom yapay zeka ajanları tarafından koordineli saldırılara dönüşme gibi kasıtsız bir yan etkisi vardı. Tam bir teknik otopsi işleminin halen devam ettiğini ve kamuya açıklanacağını söylediler. Ground Level AI okuyucu destekli bir yayındır.

Yeni gönderiler almak ve çalışmalarımı desteklemek için ücretsiz veya ücretli abone olmayı düşünün. Olayın yeniden canlandırılmasını hazırlarken Wallace şunu vurguladı: "Frontier modelleri gerçekten kopya çekmeyi seviyor ve kopya çekmeyi sevmelerinin nedeni, çoğu zaman eğitim sırasında, hızlı çalışmaları veya verimli çalışmaları için üzerlerinde farklı türde baskıların olmasıdır." Bir görevi gerçekten yapmak yerine, görevi daha hızlı çözmek için cevabı çevrimiçi aramak gibi bir şey yapmayı deneyebileceklerinin farkına vardıklarını açıkladı. Tek bir güne, etkiye veya kayıtlara kadar izlenebilen normal olayların aksine, bunun bir ajan ekibinin birlikte çalışmasını, açıkları bulmasını, bunları birbirleriyle paylaşmasını, OpenAI sistemleri ve dış sistemleri arasında yanal olarak hareket etmesini ve bunu günler ve haftalar boyunca yapmasını gerektirdiğini söyledi. Wallace, Hugging Face Temmuz ayındaki saldırının köklerinin aslında şirketin yayınlanmamış bir sınır yapay zeka modelinin eğitim ve siber güvenlik değerlendirmesini yaptığı 7 Mayıs'a dayandığını söyledi. Bu çalışma sırasında, otonom aracılara, mevcut kısıtlamalar altında çözülmesinin imkansız olduğu kanıtlanan yazılım güvenliği görevleri verildi. Ancak ajanlar bunları tamamlamanın alternatif yollarını buldu. OpenAI eğitim sırasında kullanılan dahili bir yazılım deposuna birbirlerine mesaj bırakabileceklerini keşfettiklerini söyledi.