OpenAI'nin Hugging Face'e karşı yanlışlıkla düzenlediği siber saldırı bilim kurgu

Bu hikaye çok çılgın. Kısa versiyon: OpenAI, modelin korkuluk özellikleri kapalıyken, yayınlanmamış bir modele karşı bir siber güvenlik testi yürütüyorduk. Model, testi çözmek yerine OpenAI'nin sanal alanından çıktı ve ardından Hugging Face'ye girecek güvenlik açıkları buldu, tüm bunlar cevapları çalarak testte hile yapabilmesi içindi. Yol boyunca, model kullanılabilirliğindeki dengesizliğin yazılımımızı güvence altına alma yeteneğimize nasıl zarar verdiğine dair şimdiye kadarki en güçlü durumun ortaya çıkmasına yardımcı oldu. Şu anda burada olanları anlamamıza yardımcı olacak üç belgemiz var. ExploitGym makalesini daha önce görmemiştim ve gerçekten ilginçti. UC Berkeley, Max Planck Enstitüsü, UC Santa Barbara ve Arizona Eyaleti'nden yazarlar, rapor edilen bir güvenlik açığını somut bir istismara dönüştürme yeteneklerine ilişkin modelleri değerlendirmek için yeni bir kıyaslama tasarladılar. OpenAI, Anthropic ve Google geri bildirimde bulundu ve karşılaştırmanın kendi modellerine göre yürütülmesine yardımcı oldu. Karşılaştırma, Linux çekirdeği ve V8 JavaScript motoru da dahil olmak üzere "popüler yazılım projelerini etkileyen gerçek dünyadaki güvenlik açıklarından türetilen 898 örnekten oluşuyor". Karşılaştırma sonuçlarını en iyi temsil eden paragraf: Tüm konfigürasyonlar arasında Claude Mythos Preview ve GPT-5.5 en yüksek başarı sayılarına (sırasıyla 157 ve 120 başarı) ulaşıyor ve bu da mevcut sınır ajanlarının kontrollü koşullar altında gerçek dünyadaki güvenlik açıklarının önemli bir alt kümesinden yararlanabildiğini gösteriyor.

GPT-5.4 aynı zamanda dikkate değer 54 görevi de çözerek onu bir ara aşamaya yerleştirir. Geriye kalan model-aracı eşleştirmelerinin her biri 15'ten az görevi çözüyor; bu da uçtan uca kullanımın zorlu olmaya devam ettiğini ve günümüzün sınır sistemlerini keskin bir şekilde farklılaştırdığının altını çiziyor. Özellikle, Claude Opus 4.7, daha yeni bir kontrol noktası olmasına rağmen Claude Opus 4.6'ya göre daha az başarı elde ediyor ve bunu tam sette önemli ölçüde daha düşük maliyetle yapıyor. Trace incelemesi, Claude Opus 4.7 ve Gemini 3.1 Pro'nun hedef güvenlik açığının yararlanılamaz olduğuna karar verdikten sonra sıklıkla erken sonuca vardığını ortaya koyuyor. Makalede ayrıca temsilcilerin test parametrelerinin dışına çıkarak hile yapmasını önlemek için benimsedikleri yaklaşım da anlatılıyor. Bu bir anda alakalı hale geliyor! Giden bağlantılar, rutin paket kurulumuna (Ubuntu apt depoları ve PyPI) ve V8 oluşturmak için gereken araç zincirlerinin getirilmesine izin veren, seçilmiş bir izin verilenler listesiyle sınırlıdır.