DeepSeek DS4 (DwarfStar) GGUF için v4 Flash, DSpark MTP Kafası ile

Ana içeriğe geçDeepSeek v4 Flash for DS4 (DwarfStar) GGUF w/ DSpark MTP Head : r/LocalLLaMA Menüyü aç Gezinmeyi açReddit Ana Sayfasına Git KaydolReddit'e kaydolunGiriş YapınReddit'te oturum açın Kullanıcı menüsünü genişletin Ayarlar menüsünü açın LocalLLaMA r/LocalLLaMA•3 saat önce geri dönüş DeepSeek v4 Flash for DS4 (DwarfStar) GGUF w/ DSpark MTP Head huggingface.co Açık kaynak ve açık bilim aracılığıyla yapay zekayı ilerletme ve demokratikleştirme yolculuğundayız. Open Antirez'in DS4 DwarfStar çıkarım motoru aracılığıyla Deepseek v4 Flash'ın hevesli bir kullanıcısıyım ve bu nedenle yeni kontrol noktası düştüğünde yaptığım ilk şey bir bulut kutusu kiralamak ve DS4 dağıtımımda kullanmak üzere bir niceleme başlatmaktı. GGUF'lerini bu kadar hızlı çıkardığı için Unsloth'a övgüler yağdırıyor ama benim için llama.cpp'de yalnızca <15 tok/sn hızında çalışıyor. Bu çok yavaş. Amaca yönelik DS4 motoru, MBP M5 Max cihazımda bunun iki katı hızda, yani 30 tok/sn'nin biraz üzerinde çalışıyor. Bu aslında ajansal iş akışları için kullanılabilir. Her neyse, yeni kontrol noktasını nicelemek için Antirez'in tam Q2-Q4 karışık imatrix nicelik tarifini kullandım ve DSpark kafasını ayırdım ve insanların deney yapması için bunu ayrı bir GGUF'da nicelleştirdim. Bu alt dizinde DS4'ü kullanan herhangi biri bunu test etmeme yardımcı olabilirse gerçekten memnun olurum. Çalışıyor, ancak önizlemeyle karşılaştırıldığında performans hakkında geri bildirime ihtiyacım var, böylece yineleyebilir ve umarım geliştirebilirim. Repo linki burada.

Ek nicelikler (düz Q2 K ve Q4 K, eşleşen MTP kafaları ile), muhtemelen geliştirilmiş bir imatrix ve modeli sansürlemek için DS4'ün büyüleyici direksiyon kabiliyetinden yararlanan özel bir yönsel yönlendirme azaltma vektör dosyası için planlarım var. CUDA/ROCm kullanıcılarından gelen raporları (yalnızca Metal'i test edebilirim), tok/sn kod çözme + ön doldurmayı, MTP performansına ilişkin raporları (tüm gün nicelikselleştirme yaptım, henüz A/B testine girmedim) ve ayrıca mevcut herhangi bir SSD yayıncısını arıyorum. DS4'te yeniyseniz kurulumu 60 saniye sürer ve modeli 2X llama.cpp hızında, SSD'de kalıcı KV önbelleğiyle ve OpenAI API uç noktası aracılığıyla tercih ettiğiniz kodlama donanımlarından herhangi biriyle kullanabilirsiniz. Bir şans ver. Her türlü geri bildirimi gerçekten takdir ediyorum ve değerlendirmelerinizi Model Kartına memnuniyetle aktaracağım. Ayrıca DS4 ile ilk kez karşılaşan kullanıcılar için kartın nasıl geliştirilebileceğine dair herhangi bir girdi.