Tanışın GPT-Red: OpenAI'nin modellerini daha güvenli hale getirmek için geliştirdiği bir LLM süper-hacker'ı

Ayrıcalıklı: Firma, güvenlik prosedürlerini geleceğe yönelik hale getirmek ve insan saldırganların önünde kalmak istediğini söylüyor. OpenAI, diğer modellerinin siber saldırılara karşı savunmalarını güçlendirmelerine yardımcı olmak için fikir tartışması ortağı olarak kullandığı GPT-Red adında bir Yüksek Lisans süper korsanı geliştirdi. Geçtiğimiz hafta şirket, amiral gemisi LLM'nin en son sürümü olan GPT-5.6'yı piyasaya sürdü. OpenAI, onu GPT-Red'e karşı eğitmenin, modeli şimdiye kadarki en sağlam sürümü haline getirdiğini söylüyor. GPT-Red, yazılım sistemleri için kırmızı ekip oluşturma olarak bilinen ve genellikle insan test uzmanlarından oluşan bir ekip tarafından yapılan bir tür güvenlik değerlendirmesini otomatikleştirir. Amaç, bir sistemi kırmanın veya ele geçirmenin mümkün olduğu kadar farklı yollarını bulmaktır. Yazılımın son sürümü yayınlanmadan önce zayıf noktalara yama yapılabilir. LLM'ler daha karmaşık hale geldikçe ve daha geniş bir görev yelpazesinde kullanıldıkça (özellikle bilgisayar dosyaları, web siteleri ve üçüncü taraf kodlarının yanı sıra diğer aracılarla etkileşime girebilen aracılar biçiminde), insanlardan oluşan ekiplerin meydana gelebilecek tüm saldırı türlerine tek başına ayak uydurması zorlaşıyor. GPT-Red'i birlikte yaratan OpenAI araştırma bilimcisi Nikhil Kandpal, "Risk yüzeyi büyüyor ve patlama yarıçapı da büyüyor" diyor. OpenAI güvenlik testi sürecini geleceğe hazır hale getirmek için GPT-Red'i geliştirdi. Şirkette araştırma bilimcisi ve GPT-Red'in ortak yaratıcılarından Dylan Hunn, "Daha yetenekli modeller mevcut oldukça, yeni saldırı modlarını keşfedebilecek sistemi zaten tasarlamış olacağız" diyor.

Araştırmacılar, daha önce görülmemiş yeni saldırı türlerinin şimdiden ortaya çıktığını söylüyor. OpenAI çabalarının çoğunu, bir bilgisayar korsanının, geliştiricilerinin veya kullanıcılarının gizli bilgileri kopyalamak, bir şirketin kod tabanını sabote etmek veya utanç verici veya zararlı çıktılar oluşturmak gibi istemediği şeyleri yapmasını sağlamak için bir LLM talimatlarını aktardığı, hızlı enjeksiyon olarak bilinen bir saldırı türüne odaklandı. Teorik olarak, bu tür talimatlar LLM'nin karşılaşabileceği herhangi bir metinde (örneğin kodda veya bir web sitesinde) gizlenebilir. OpenAI araştırmacıları, GPT-Red'i oluşturmak için bilgisayar korsanı olarak eğitilmemiş bir yüksek lisans eğitimini aldı ve onu diğer birkaç modelle birlikte kendi kendine oynama döngüsü olarak bilinen bir şekilde kurdu. Amacı diğer modellere saldırmaya çalışmaktı; amaçları kendilerini savunmaya çalışmaktı.