Qwen3.8 27B Q5_K_M + 7900xtx + DeepSeek Harness实战平均 52 t/s

[xl]

作业质量非常高！9700x、64G ddr5、R9700 跑QWen3.8-27b-Q4_K_M。没抄作业之前，接入Codex干活吐字只有3.1 t/s，还经常崩掉，完全不能忍。抄作业以后，接入Codex干活吐字能到50t/s，提升十多倍，感觉顺畅了。万分感谢！

[exllm]

@xl 并行设置为1， 估计能到70t/s

[williamlouis]

看视频了。抄作业，已关注。请继续更新。

[kuntask]

抄了作业，跑楼主参数，只有20tokens/s，比较尴尬，经过deepseek了一下，应该是我的CPU有点弱，我将--override-tensor blk.\d+.ffn_.*_exps.=CPU \注释掉了，并将--parallel改成了1，其他参数未动，现在能到60t/s了

[Wang Wei]

抄了作业 只有20-30 t/s 不过我是在win下的 wsl2挂着跑 显存有溢出 换原生Ubuntu太折腾了

[xl]

@exllm 并行改为1后，预填充性能有接近5~10倍的提升（不同的任务变化很大），但生成token的性能提升不到10%。我也将“--override-tensor blk.\d+.ffn_.*_exps.=CPU \”注释掉进行过测试，性能反而有略微下降，可能跟我的硬件和跑的任务也有一定关系。

[terry]

@kuntask 这个是要注释掉的，我也是注释了

[terry]

@xl 不是巧合，就是应该注释掉

[xl]

@terry 不是，在我的电脑上，注释掉后性能反而有略微下降（预填充变化不大，生成性能有略微降低）。只测一次的结果可能有偏差，等有空的时候再多测几次。

[terry]

@xl 总之参数大体是对的，我是复制链接给AI自己配置的。它把这一行直接干掉了，效率上和楼主的差不多。

[Wang Wei]

Wang-Wei 说:

抄了作业 只有20-30 t/s 不过我是在win下的 wsl2挂着跑 显存有溢出 换原生Ubuntu太折腾了

我把np从2改到1就可以了，显存不溢出，q5 128k上下文 55t/s 换成q4可以到70 一个slot够我用了

[懒人烘培]

@exllm @terry
根据楼主的测试了一下
cpu： AMD Ryzen 5 7500F
RAM：DDR5 32GB 6000
GPU： 7900XTX
OS： Ubuntu 24.04
软件 ： llama.cpp + vulkan

先说结果：

llama.cpp运行参数，spec-draft-n-max 3 速度最好：

~/llama_vulkan/bin/llama-server \
-m ~/models/Qwen3.8-27B-Q5_K_M.gguf \
-t 10 \
-b 512 \
-ub 256 \
--spec-draft-n-max 3 \
--fit off \
--no-context-shift \
--metrics \
--kv-unified \
--jinja \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
-fa on \
--spec-type draft-mtp \
--ctx-size 131072 \
--parallel 1 \
-ngl -1 \
--host 0.0.0.0 \
--port 8080 \
--chat-template-kwargs '{"enable_thinking":true,"preserve_think":false,"reasoning_effort":"medium"}' \
--no-mmap \
--temp 0.6 \
--top-p 0.5 \
--top-k 15 \
--repeat-penalty 1.0 \
--alias qwen3.8-27b-q5

llama.cpp运行参数，spec-draft-n-max 2 ：

llama.cpp运行参数，spec-draft-n-max 4 ：

总结：

参数	Prompt速度	生成速度	平均延迟	MTP命中率
n=2	288.73 t/s	68.14 t/s	17.436 s	87.62%
n=3	286.60 t/s	71.74 t/s	16.772 s	82.50%
n=4	249.53 t/s	47.96 t/s	24.911 s	74.99%

这台电脑n=3最好。
注：修改这个参数是MTP speculative decoding（推测解码）一次最多提前“猜”多少个 token。

[6cccccc]

为啥我的启动参数是这样：
-m "$SELECTED_MODEL" -t 10 -b 512 -ub 256
--spec-draft-n-max 3 --fit off --no-context-shift
--metrics --kv-unified --jinja
--cache-type-k q8_0 --cache-type-v q8_0
-fa on --spec-type draft-mtp
--ctx-size 131072 --parallel 1 -ngl -1
--host 0.0.0.0 --port $LLAMA_PORT
--chat-template-kwargs {"enable_thinking": true, "preserve_think": false, "reasoning_effort": "medium"}
--no-mmap --temp 0.6 --top-p 0.5 --top-k 15 --repeat-penalty 1.0
--alias qwen3.8-27b-q5
仍然速度很低，只有12左右
配置如下
cpu： AMD Ryzen 7 2700 Eight-Core Processor (8核16线程, 3.2GHz)
RAM： 64GB DDR4
GPU： AMD Radeon RX 7900 XTX 24GB (RADV NAVI31)
OS： Ubuntu 26.04 LTS (内核 7.0.0-29-generic)
软件 ： llama.cpp Vulkan b10486

[懒人烘培]

@6cccccc
试试我那参数呢，不应该只有12

[exllm]

@6cccccc 你BIOS开above 4G decoding了吗？

[terry]

@exllm 开不开影响都不大，我实测没感觉出来区别，但是有大神测了有区别。

[懒人烘培]

@6cccccc
刚才实际测试了，如果开启Thinking了，速度也只有16，把Thinking Off后，速度我就恢复了70了。注意

[Michael Gill]

@exllm @terry 感谢二位，以为本地部署没啥希望，刚好是7900xtx，简单测试

[farmer node]

此主題已被删除！

[6cccccc]

@exllm 我一会试试