OpenAI'nin GPT-2 ağırlıkları neden benimkileri geçiyor? İkinci bölüm: hata düzeltmesi

GPT-2 tarzı modellerimin talimat takip değerlendirmesinde neden OpenAI'nin orijinal ağırlıklarından daha kötü puan aldığını araştırıyorum; Bu yazımda detayları verdim. İlk denememin sonuçlarını olası nedenlere göre yazarken, gönderiyi ChatGPT'den sonra yayınladım -- Gönderilerimi akış, stil ve teknik hatalar açısından kontrol etmek için her zaman yapay zekalardan oluşan bir "editör kurulu" kullanırım (gerçi tüm yazılar her zaman bana aittir). Çalıştırdığım değerlendirme koduna baktı ve bir hatayı vurguladı. Şans eseri, bu önemli sonuçları değiştirmiyor -- OpenAI'nin modelleri talimat izleme konusunda benimkinden daha iyi olmaya devam ediyor. Ancak kendi modellerimin ne kadar iyi performans gösterdiğini yeniden düzenleyerek temel rakamları değiştirmek yeterliydi. Ben de bunu düzelttim ve gelecekteki deneylerin sağlam bir zemine dayanması için temel çizgiyi yeniden oluşturdum. Değerlendirme bir modeli alır ve onu Alpaka talimat takip eden veri kümesinin bir alt kümesinin bir bölümünde birden fazla dönem boyunca eğitir. Her çağın sonunda, ortaya çıkan modeli, ertelenen doğrulama bölünmesine göre değerlendirir; değerlendirme kaybı artmaya başlarsa, kurtarılır.

Son olarak, ortaya çıkan model aracılığıyla veri kümesinin bir test bölümünü çalıştırır ve sonucu kaydeder. Bunu bir grup farklı model için çalıştırdıktan sonra, GPT 5.5'in sonuçları puanlamasını sağlamak için bir yargıç olarak Yüksek Lisans komut dosyası kullanıyorum - her soru yanıtlama sonucu için, modelleri birbirine göre mümkün olduğunca tutarlı bir şekilde yargılamasını sağlamak için tüm modellerin tüm yanıtlarını aynı komut isteminde, her seferinde sırayla karıştırılmış olarak görüyor. Şimdi fikir, test bölünmüş yanıtlarının oluşturulmasında, artan kayıp döneminden önceki döneme ait modeli kullanmasıydı. Yani şöyle bir kodum vardı: Doğrulama kaybı her azaldığında, modelin parametrelerini son satırda daha sonra geri yüklenebilmeleri için last_params'da saklamak istedim. Yakından bakarsanız, hata oldukça açıktır. model.state_dict(), modelin parametrelerinin bir kopyasını döndürmez; modelin içindeki parametrelere referanslar içeren bir sözlük üretir. Her ne kadar kayıp her düştüğünde last_params içindeki parametreleri saklamaya çalışsam da, böylece artan kayıptan önceki çağda canlı olanların bir kopyasına sahip olduk, aslında yaptığım şey sadece anlamsız bir şekilde "canlı" parametrelere bir referans kaydetmekti.