TensorSharp: Açık Kaynaklı Yerel LLM Çıktı Motoru

GGUF modelleri için yerel bir .NET LLM çıkarım motoru — bir komut satırı aracı, bir tarayıcı sohbet sunucusu ve programatik erişim için Ollama-OpenAI uyumlu API'ler ile. Her şey kendi donanımınızda çalışır: dizüstü bilgisayarınız, iş istasyonunuz veya sunucunuz. Makineden hiçbir veri ayrılmaz, jeton başına ücret alınmaz ve aynı motor, hızlı bir komut satırı testine, paylaşılan bir dahili sohbet robotuna ve bir üretim REST uç noktasına güç sağlar. Bu wiki tam bir rehberdir; aşağıdan bir başlangıç ​​noktası seçin veya arama yapmak için / tuşunu kullanın. Önkoşullar, bir model oluşturun, indirin ve ilk yanıtınızı yayınlayın. CLI'den istemleri, görüntüleri, sesleri, toplu işlemleri ve karşılaştırmaları çalıştırın. Desteklenen mimariler, indirmeler, multimodal ve muhakeme. Yüksek Lisans'ta yeni misiniz? Sade dildeki tanımlar ve sık sorulan sorular. .NET 10 SDK'yı yükledikten sonra, akış yanıtına dört komut uzaktasınız (model indirmesi bir yana). Yerel GGML kütüphanesi ilk derlemede otomatik olarak derlenir. Küçük, iyi test edilmiş bir başlangıç ​​noktası Hugging Face'den Gemma-4-E4B (Q8_0)'dir. Model indirmeleri bölümünde daha fazlası. Sunucuyu başlatın ve tarayıcı sohbetini açın; bu aynı zamanda uyumluluk uç noktalarına da hizmet eder. Çıkarım donanımınızda gerçekleşir.

İstemler, belgeler ve görüntüler asla makineden ayrılmaz. Donanımınızın izin verdiği kadar çalıştırın; öngörülebilir maliyet, ölçülü API yok. Ollama ve OpenAI wire formatlarını konuştuğundan mevcut araçlar ve SDK'lar çalışır. NVIDIA (CUDA), AMD / Intel / NVIDIA (Vulkan), Apple Silicon (Metal/MLX) veya saf CPU — otomatik geri dönüşlerle. Gemma, Qwen, GPT-OSS, Nemotron-H, Mistral, ayrıca görme, ses ve muhakeme araçları. Yalnızca kara kutu ikili dosyası değil, uygulamalarınıza yerleştirebileceğiniz yerel bir C# motoru. Aynı GGUF dosyalarında ve aynı GPU'da, C++ motoruyla kazanç ticareti yapar: 26B-A4B MoE, ilk jetonları 1,30 kat daha erken 1,32 kat daha hızlı doldurur, 12B her kod çözme senaryosunu (1,17 kat) kazanır veya bağlar ve JSON modu kod çözme, E4B'de 7,7 kat daha hızlı yayın yapar. TensorSharp geniş bir ziyaretçi yelpazesine hizmet vermektedir. İşte her biri için en hızlı yol. Gelişmiş Özellikleri Okuyun — sayfalanmış KV, sürekli toplu işlem, spekülatif kod çözme. Model mimarilerini ve birebir karşılaştırmaları keşfedin.