KV önbellek niceleme kıyaslamaları: Qwen 3.6 27B, Gemma 4 31B'de 413 çift test edildi. BeeLlama.cpp v0.4.0 ile KLD: KVarN 6 bit, q8_0'ı yener, hassas kuyruk 1024 hakimdir
Özgün başlık: KV cache quantization benchmarks: 413 pairs tested on Qwen 3.6 27B, Gemma 4 31B. KLD with BeeLlama.cpp v0.4.0: KVarN 6-bit beats q8_0, precision tail 1024 dominates
Bu gelişmenin ayrıntıları kaynağında yer alıyor.
✳ Bu özet ve çevirisi Base of AGI tarafından otomatik derlendi. Kısa özet ve görsel kaynağa aittir — haberin tamamı ve tüm haklar kaynağındadır.
Haberin tamamını kaynağında oku ↗
Akış içinde yorumlarla aç