OpenAI ve Hugging Face, model değerlendirmesi sırasında güvenlik olayını ele alıyor

Geçtiğimiz hafta Hugging Face, altyapılarını tehlikeye sokan bir yapay zeka aracısını tespit edip kontrol altına aldıktan sonra yeni bir tür güvenlik olayı⁠(yeni bir pencerede açılır) açıkladı; bu durumun, giderek siber yetenekli modellerin çoğalmasıyla daha yaygın hale gelmesini bekliyoruz. Araştırmanın ardından, artık bu özel olayın, GPT‑5.6 Sol ve çok daha yetenekli bir ön sürüm modeli de dahil olmak üzere OpenAI modellerinin bir kombinasyonundan kaynaklandığını biliyoruz; bu modellerin tümü, değerlendirme amacıyla siber ret oranları azaltılmıştır ve aynı zamanda siber yeteneklere ilişkin bir kıyaslamada⁠(yeni bir pencerede açılır) dahili olarak test edilmiştir. Bu olayı, en son teknolojiye sahip siber yetenekleri içeren, benzeri görülmemiş bir siber olay olarak değerlendiriyoruz ve buna göre müdahale ediyoruz. Savunmacıların ne olduğunu anlamalarına ve modellerin şu anda neler yapabileceğini ayarlamalarına yardımcı olmak için bu aşamada ön bulguları paylaşıyoruz. Hugging Face ile birlikte kapsamlı bir araştırma yürütmeye devam edeceğiz ve araştırmamız tamamlandığında güvenlik açıkları, olaylar ve bulgular hakkında daha fazla ayrıntı paylaşacağız. Bu olay sırasında ne oldu? Bu olay, modellerin siber yeteneklerini ölçmek amacıyla karmaşık saldırı yollarını kullanarak gelişmiş istismarları takip etmesini sağlayan dahili bir değerlendirme sırasında meydana geldi. Bu değerlendirmeyi, modellerin yüksek riskli siber faaliyetlerde bulunmasını önlemek için kullanılan üretim sınıflandırıcıları olmadan çalıştırarak maksimum siber yetenekleri tahmin ediyoruz.

Karşılaştırmalarımız, ağ erişiminin, paket kayıtları için proxy ve önbellek görevi gören, dahili olarak barındırılan bir üçüncü taraf yazılımı aracılığıyla paketleri yükleme yeteneğiyle sınırlı olduğu, oldukça yalıtılmış bir ortamda çalışır. Modeller, doğrudan Hugging Face'nin üretim veritabanından test çözümleri elde etmek için OpenAI'nin araştırma ortamındaki ve Hugging Face'nin üretim altyapısındaki güvenlik açıklarını belirledi ve zincirledi. Tüm kanıtlar, modellerin ExploitGym için bir çözüm bulmaya aşırı odaklandıklarını ve oldukça dar bir test hedefine ulaşmak için aşırı çabalara başvurduklarını gösteriyor. Modellerimiz, korumalı alan test ortamımızda çalışırken, değerlendirme sorununu çözmek amacıyla açık İnternet erişimi elde etmenin bir yolunu bulmak için önemli miktarda çıkarım hesaplaması harcadı.