Küçük yerel AI modellerinin JSON'u bozmalarını nasıl durdurdum - dil bilgisine dayalı bir yaklaşım

Ana içeriğe atla Küçük yerel AI modellerinin JSON'u kırmayı durdurmasını nasıl sağladım - dilbilgisi tabanlı bir yaklaşım: r/artificial Menüyü aç Reddit Ana Sayfasına git r/artificial KaydolReddit'e kaydolunGiriş YapReddit'te oturum açın Kullanıcı menüsünü genişletin Ayarlar menüsünü açın Yapay r/artificial'a git 2 saat önce paulqq Küçük yerel AI modellerinin JSON'u kırmayı nasıl durdurdum - dilbilgisi tabanlı bir yaklaşım Yerelde AI aracılarını çalıştırmayla ilgili belirli bir sorun hakkında bir yazı yazdım modeller: yapılandırılmış çıktılarla güvenilmezler. JSON'u istersiniz, çoğunlukla teslim ederler, ancak sonra kapatma parantezini unuturlar, bir araç adı icat ederler veya JSON nesnesinden sonra bir paragraf metin eklerler. OpenAI gibi barındırılan API'ler bu sunucu tarafını yönetir. Yerel olarak tek başınasın. Benim yaklaşımım: llama.cpp, modelin hangi belirteçleri üretebileceğini kısıtlayan GBNF gramerlerini destekliyor. Her aracın şemasını dilbilgisi kurallarına dönüştüren bir derleyici yazdım, böylece modelin çıktısı her simge konumunda sınırlandırıldı. Kelimenin tam anlamıyla hatalı biçimlendirilmiş JSON üretemez. Daha sonra her turda dilbilgisini daraltıyorum, böylece model 50 aracın tamamı yerine yalnızca ilgili 3-5 aracı görüyor. Gönderi, projeden alınan gerçek kodu içeren derin bir dalıştır (Rust'ta Markdown notlarınızı bellek olarak kullanan yerel bir ajan olan Eris, tamamen makinenizde çalışır). https://eris-system.dev/blog/gbnf-grammars Repo:https://github.com/janpauldahlke/eris(Apache 2.0) ps. sorunu nasıl çözdüğümü paylaşmak istedim, projemle ilgili ama kendi reklamım değil.

Devamını oku Paylaş Cricket Resmi•Terfi Edildi Çenenizi yerden kaldırın ve bu Kriket Fırsatı İndirimi devam ederken ÜCRETSİZ bir Samsung Galaxy A37 alın! Şimdi Alışveriş Yapın cricketwireless.com Yorumlar Bölümü İnsanlar ayrıca bölümü soruyor İnsanlar ayrıca Yapay Zekanın iş piyasaları üzerindeki etkisini de soruyor Yapay zeka işleri hızla yeniden şekillendiriyor; bazı roller kesiliyor, diğerleri değişiyor ve Reddit'teki birçok kişi, gençlerin ve rutin işlerin en fazla risk altında olduğu konusunda uyarıyor. Büyük resimdeki endişeler Yöneticiler yapay zekayı personel ve maliyetleri azaltmak için bir bahane olarak kullanıyor. "Boktan yöneticiler i�� piyasasını mahvetti, AI iş piyasasını mahvetmek için kullandıkları en son eğlenceli bahane." Şirketler genellikle gençlerin eğitimi konusunda kısa vadeli tasarruflar sağlamaya çalışıyor ve bu da gelecekteki yetenek boşluklarını riske atıyor.