OpenAI Hugging Face hack'i kesin bir uyarıdır

Gelişmiş yapay zeka modellerinin gerçek dünyaya zarar verme eğilimi ve kapasitesine sahip olduğuna dair kanıta ihtiyacımız varsa, bunun güçlü bir dozunu aldık. OpenAI, iki modelinin dahili değerlendirmeler sırasında sınırlamayı aştığını, üçüncü tarafların sistemlerine sızmak ve üzerinde test edildikleri sorunun yanıtlarını çalmak için açık internete eriştiklerini ortaya çıkardı. Modelleri ve veri kümelerini barındıran bir platform olan Hugging Face, ihlali ilk olarak geçen hafta fark etti ve kolluk kuvvetlerine bildirdi. O zamanlar arkasında OpenAI modellerinin olduğunun farkında değildi. İhlal, yanlış hizalanmış bir yapay zekanın sınırlamalardan kaçmasının ve üçüncü bir tarafa otonom olarak siber saldırı gerçekleştirmesinin bilinen ilk örneği gibi görünüyor; yapay zeka güvenlik uzmanlarının defalarca uyardığı bir senaryo. OpenAI, olayın GPT-5.6 Sol'un siber yeteneklerini ve "daha da yetenekli bir ön sürüm modelini" ExploitGym adlı bir kıyaslamada test ederken meydana geldiğini söyledi. Modeller, şirket dışındaki herhangi bir sisteme erişimlerinin engellenmesi amacıyla "son derece izole bir ortamda" test edildi. Modeller ilk önce "açık İnternet erişimi elde etmeye" çalıştılar ve sonunda bunu, erişim sahibi oldukları bir yazılım parçasındaki önceden bilinmeyen bir kusuru (sıfır gün olarak adlandırılan) belirleyip bunlardan yararlanarak başardılar.

Amaç modellerin neler yapabileceğini ölçmek olduğundan, OpenAI testi güvenlik önlemleri kapalıyken gerçekleştirdi: "modellerin yüksek riskli siber faaliyetlerde bulunmasını önlemek için kullanılan üretim sınıflandırıcıları" devre dışı bırakıldı. Modellerden, kontrollü ve kısıtlı bir ortamda hacklemeleri isteniyordu. Hiçbir şey onlardan test ortamlarından çıkmalarını veya gerçek bir şirkete saldırmalarını istemedi: bu onların kendi fikirleriydi. OpenAI, "Bu erişimle birlikte, modeller İnternet erişimi olan bir düğüme ulaşana kadar araştırma testi ortamımızda bir dizi ayrıcalık yükseltme ve yanal hareket eylemi gerçekleştirdi" dedi OpenAI - başka bir deyişle, internete erişene kadar giderek daha fazla erişimle OpenAI'nin sistemlerinde dolaştılar. İnternet erişimine sahip olduklarında modeller, kendilerine verilen siber görevi gerçekten çözmek yerine hile yapabileceklerini fark ettiler. OpenAI, "Modeller, Hugging Face potansiyel olarak ExploitGym için modellerin, veri kümelerinin ve çözümlerin barındırıldığı sonucunu çıkardı" dedi.