katkıda bulunanlar arıyoruz - trie tabanlı bellek verimli LLM çalıştırıcısı
Özgün başlık: looking for contributors - trie based memory efficient LLM runner
Başlık: Katkı Sağlayıcılar Aranıyor - Trie Tabanlı Bellek Verimli LLM Çalıştırıcısı Özet: SALT, uzun belgeleri sabit bir boyuta küçülterek, en fazla bilgi taşıyan cümleleri koruyarak bir dil modeline gönderir. Bu yöntem, her modelle çalışabilir ve daha kısa bir düz metin istemi üreterek uzun girdilerin maliyetlerini azaltır. Ancak mevcut sıkıştırıcılar, cümlelere tek bir önem puanı vererek, bütçe dolana kadar en yüksek puan alanları saklar; bu durum, ana konunun bütçeyi aşmasına ve önemli ama daha küçük noktaların kaybolmasına neden olabilir.
✳ Bu özet ve çevirisi Base of AGI tarafından otomatik derlendi. Kısa özet ve görsel kaynağa aittir — haberin tamamı ve tüm haklar kaynağındadır. İçerik ücretsiz kaynaktan derlendi: github.com.
Haberin tamamını kaynağında oku ↗
Akış içinde yorumlarla aç