Uzun vadeli modeller döneminde güvenlik ve uyum

Uzun süreler otonom olarak çalışabilen modeller zor, ucu açık problemleri üstlenebilmektedir. Ancak onları yararlı kılan aynı kararlılık, aynı zamanda onlara istenmeyen eylemlerde bulunma ve bunu daha kısa ufuklu modellere yönelik değerlendirmelerin kaçırabileceği şekillerde yapma fırsatı da verir. Yaklaşık iki ay önce dahili bir genel amaçlı modelin Erdős birim mesafe varsayımını çürüttüğünü duyurmuştuk. Bu model çok uzun süreler boyunca otonom olarak çalışacak şekilde tasarlandı. Sınırlı, izlenen dahili kullanım sırasında, mevcut dağıtım değerlendirmelerimizin yakalayamadığı istenmeyen davranışlar gözlemledik. Dağıtım sınırlı olduğundan ve izlendiğinden, bu sorunları tespit edebildik, erişimi duraklatabildik, gözlemlediklerimize dayanarak yeni değerlendirmeler oluşturabildik, modeli ve korumalarını güçlendirebildik ve ardından sürekli izleme altında erişimi geri yükleyebildik. Modelleri değerlendirdiğimiz koşullar, gerçek kullanımda karşılaştıkları koşullarla asla tam olarak eşleşmeyecektir. Bu nedenle dağıtım öncesi değerlendirmelerin sınırlı, izlenen dağıtım ve sorunlar ortaya çıktığında müdahale etme, duraklatma veya geri alma yeteneğiyle birlikte kullanılması gerekir. Dağıtımdan öğrendiklerimiz, erişim yaygınlaşmadan önce daha güçlü değerlendirmelerin ve korumaların parçası haline gelebilir. Aşağıdaki bölümlerde gözlemlediklerimize, sorunları nasıl ele aldığımıza ve bu deneyimin gelecekteki sürümleri nasıl şekillendireceğine ilişkin somut örnekleri paylaşıyoruz.

Model kalıcılığı güvenlik açıklarını ortaya çıkarabilir Yeni model, uzun bir süre boyunca tekrarlanan girişimlerle bir hedefe doğru çalışmaya devam edebilir. Aynı ısrar, onu çevresindeki zayıflıkları bulmaya ve kullanmaya yönlendirebilir. Önceki modeller, korumalı alana alma veya çevresel kısıtlamalarla karşılaştıklarında basitçe durup kullanıcıya geri dönüyordu. Bu model, kendi sanal alanının dışında hareket etmenin yollarını aramak da dahil olmak üzere sıklıkla denemeye devam etti. Bunun bir örneği, küçük bir dil modelinin mümkün olduğunca az adımda eğitilmesi için halka açık bir kıyaslama olan NanoGPT speedrun⁠(yeni bir pencerede açılır) üzerinde yapılan dahili değerlendirme sırasında meydana geldi. Modelimiz, PowerCool adı verilen ve önemli bir iyileşmeye yol açan bir güç yasası öğrenme oranı bekleme süresi geliştirdi. Modele, sonuçlarını yalnızca Slack'e göndermesi talimatı verildi, ancak NanoGPT talimatları, sonuçları GitHub'ye PR olarak göndermesini söylüyor ve model, PR 287'yi halka açık GitHub deposunda açmak için sonraki talimatları izledi.