Bu girişimler LLM'lerde bir sonraki büyük şeyin peşinde

MIT Technology Review'un What's Next serisi, geleceğe ilk bakışınızı sunmak için sektörleri, trendleri ve teknolojileri genel olarak ele alıyor. Geri kalanını buradan okuyabilirsiniz. 2017 yazında, Google'daki yapay zeka araştırmacıları, transformatör adı verilen yeni bir tür sinir ağını tanımladıkları "Tek İhtiyacınız Olan Dikkat" adlı bir makale yayınladılar. Uzun veri dizilerini, özellikle de metni işlemede çok iyi olduğu kanıtlandı. Dokuz yıl sonra, transformatörler piyasadaki tüm büyük dil modellerinin içindeki motorlardır. Yapay zeka girişimi Subquadratic'in kurucu ortağı ve CEO'su Justin Dangel, "Tüm yapay zeka endüstrisi transformatörler üzerine kurulu" diyor. "Bunlar bilgisayar bilimi tarihindeki en önemli yeniliklerden biri ve dünyayı değiştirdiler." Ancak transformatörler yaşlarını göstermeye başlıyor. Akıl yürütme modellerinin geliştirilmesi ve bunların büyük miktarlardaki girdiyi aynı anda işleme yeteneği gibi LLM'lerdeki son gelişmelerin çoğu, bu çekirdek teknolojinin düzgün bir uzantısı değil, bazı temel kusurlarını gideren geçici çözümlerdir. Artan sayıda bilim insanı ve mühendis artık bundan sonra ne olacağını soruyor. Yüksek Lisans'ların hiçbir yere gitmesi mümkün değil, ancak oluşturulma biçimleri ele alınmaya hazır. (MIT Technology Review, bu yılın yapay zekada önemli olan 10 şey listesinde bu gelecek nesil modellere Yüksek Lisans+ adını verdi.) Bu hızlı gelişen teknolojinin sınırlarını zorlamayı ümit eden bir startup dalgasına girin.

Bazıları şüphesiz başarısız olacak; ancak oynayacakları çok şey var ve bugün grubun en önünde yer alan şirketlere göre kaybedecekleri çok daha az şey var. Ama önce sorun. Dönüştürücülerin temel gücü, bir metin bloğunun anlamını bir dizi sayıyla kodlayan, yoğun dikkat adı verilen bir mekanizmada yatmaktadır. Süreç, o metindeki her kelimenin (veya bir kelimenin bir belirteç olarak bilinen kısmının) bir çarpma biçimi aracılığıyla diğer tüm kelimelerle karşılaştırılmasını içerir. Yoğun dikkat, metnin anlamını dikkate değer bir doğrulukla yakalayabilir. Ancak metnin uzunluğu arttıkça, onu işlemek için gereken hesaplamaların sayısı da hızla artıyor. 10.000 kelime uzunluğundaki bir belge, bir transformatörün 50 milyon çarpma işlemini gerçekleştirmesini gerektirebilir. Yüksek Lisans'ların bu kadar çok güç tüketmesinin ana nedeni budur. Maliyetler çok büyük. Şirketin başkanı Greg Brockman'a göre OpenAI bu yıl bilişime 50 milyar dolar harcayacak.