借着QWEN3.8MOE的发布,秀一下QWEN3.6MOE DDR4的性能
-
.\hermeswork\llama.cpp\build\bin\Release\llama-server.exe -m D:\hermeswork\models\Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-Q8_0.gguf ` -c 262144 ` -ngl 999 ` -t 24 ` -tb 24 ` -b 32768 ` -ub 4096 ` -np 1 ` -ncmoe 26 ` --temp 0.1 ` --top-p 0.9 ` --top-k 40 ` --min-p 0.05 ` --presence-penalty 1.0 ` --repeat-penalty 1.05 ` --flash-attn on ` --reasoning off ` -ctk q8_0 ` -ctv q8_0 ` -cms 16384 ` --ctx-checkpoints 48 ` --cache-reuse 4096 ` --host 0.0.0.0 ` --port 11434 ` --load-mode mlock初始PR1400,32TS,讲真这个量化精度其实损失很低了,我下载模型的时候打算用MTP的,后来发现MTP不会带来任何的加速,我估计是PCI带宽是瓶颈,(还轮不到DDR4)
咦我好像发不了图片