Eski OpenAI araştırmacısı, yalnızca ölçeklemenin yeterli olmayacağına inanarak 100 milyar doların eğitim verisine akacağını tahmin ediyor
Özgün başlık: Ex-OpenAI researcher bets $100 billion will flow into training data because scaling alone won't cut it
Eski OpenAI çalışanı Andrew Ho ve Cambridge araştırmacısı Adam Hunt, büyük dil modelleriyle ilgili büyüyen bir sorun görüyor. Modeller daha çok yönlü olmak yerine daha uzmanlaşmış hale geliyor; kodlama ve matematikte mükemmelleşirken diğer alanlarda durgunlaşıyor ve hatta geriliyor. Ho, özel eğitim verilerine odaklanan bir şirket kurmak için OpenAI'den ayrılıyor ve yapay zeka laboratuvarlarının hedeflenen veri toplama için 100 milyar dolardan fazla harcaması gerekeceğini öngörüyor. Ex-OpenAI araştırmacısı makalesi, eğitim verilerine 100 milyar doların akacağına bahse giriyor çünkü ölçeklendirme tek başına kesmeye yetmiyor, ilk olarak The Decoder'da ortaya çıktı.