7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享

[terry]

@David-Zhang 我靠发力了啊。

[apple]

这帖子质量很高啊，可以入精华了

[饲养员]

牛逼！学习学习！

[williamlouis]

我只希望没买卡的 规避7900XTX。小霸王学习机吗？

[David Zhang]

@williamlouis 分享下遇到的坑，让大伙吃个瓜

[iamvirus]

这些测试我都复现了，但是上qwen code 或者opencode 慢出翔！还不如9B好，至少能出活

[David Zhang]

@iamvirus 我最近也再测 omnicoder-9b，目前效果不错，前端后端 指哪打哪，速度也很快。干复杂的屎山目前看还是得 27b，慢就慢点，只能同时多开几个任务。

[Devin Hi]

@williamlouis
为啥？
我感觉挺好，这是穷人玩AI的最佳选择
玩3090 怕遇到矿卡
再往上就不是穷人了。

[Devin Hi]

此配置经测试（Hermes跑大任务），24G的显存 容易爆OOM

所以改为了
--ctx-size 65536
--batch-size 512
--ubatch-size 128 \

[y2k]

感谢老哥，感谢分享

[Miraco]

感谢楼主分享。所以对于小白来说如何选？能否给个结论？谢谢！主要是用在Hermes，Comfy UI和大模型。

[Fred]

@Miraco 对于小白来说，现在还不是时候。目前还是一个PR，等合入llama.cpp主线版本后，你再去拿来用，别花时间现在去折腾。目前2大问题：

1. MTP虽然能大幅增加推理吐字速度，但同时会导致Prefill速度降低，这是社区已知bug，有大神在积极处理，不妨等着。因为对于Hermes Agent或者编程Agent这一类的应用而言，上下文很长，Prefill速度和推理吐字的速度（TG速度），对于人的感受同样重要。
2. 目前上了PR里的MTP，就只能上一个并发(-np 1)，对于有subagent的应用来说，还是有点影响。

总之就是小白不建议折腾，坐等社区进主线用稳定版的，它才香。

[t68823878]

docker run --gpus all -it --rm --ipc=host --net=host
-v /home/yangxu/models:/models
nvcr.io/nvidia/vllm:26.04-py3
python3 -m vllm.entrypoints.openai.api_server
--model /models/unsloth/Qwen3.6-27B-NVFP4
--trust-remote-code
--max-model-len 200000
--kv-cache-dtype fp8
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 32768
--max-num-seqs 4
--served-model-name "Blackwell-Qwen-27B"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000

以上是用VLLM跑的参数，用的RTX PRO 6000跑unsloth/Qwen3.6-27B-NVFP4，为什么感觉速度比较慢呢？还是说这个49每秒都算是正常速度了？还望大神指导

[Fred]

此主題已被删除！

[Fred]

@t68823878 说:

docker run --gpus all -it --rm --ipc=host --net=host
-v /home/yangxu/models:/models
nvcr.io/nvidia/vllm:26.04-py3
python3 -m vllm.entrypoints.openai.api_server
--model /models/unsloth/Qwen3.6-27B-NVFP4
--trust-remote-code
--max-model-len 200000
--kv-cache-dtype fp8
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 32768
--max-num-seqs 4
--served-model-name "Blackwell-Qwen-27B"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000

以上是用VLLM跑的参数，用的RTX PRO 6000跑unsloth/Qwen3.6-27B-NVFP4，为什么感觉速度比较慢呢？还是说这个49每秒都算是正常速度了？还望大神指导

你没有开MTP，这个速度算正常了吧。4090如果不开MTP，才40左右。打开MTP，推理速度会暴增。另外真羡慕你的PRO 6000，但你都PRO 6000了，还跑啥量化啊？可惜了啊。

[t68823878]

@Fred 因为还要留显存跑comfyui做音视频，而且我看网上说BLACKWELL架构跑NVFP4和FP8精度是差不多的，速度上还有一定优势，所以就用了NVFP4，后面我看看FP8精度的情况下能够跑到多少速度。

[Fred]

@t68823878 说:

@Fred 因为还要留显存跑comfyui做音视频，而且我看网上说BLACKWELL架构跑NVFP4和FP8精度是差不多的，速度上还有一定优势，所以就用了NVFP4，后面我看看FP8精度的情况下能够跑到多少速度。

哦。那你开MTP，应该就齐活了，推理速度至少能上到80以上吧。我的4090都偶尔能到80。在你的参数里加--speculative-config '{"method": "mtp", "num_speculative_tokens": 3}' \

[terry]

@Fred NVFP4是权重量化模式，推理还是要BF16或者FP8，FP8推理在有些情况下都可能会崩，KV能够设置到FP8，精度很好。NVFP4量化的权重和INT4没什么精度差异，在本地小模型上几乎无感。但是它如果要反量化到BF16计算，没有INT4效率高。总之除非是DeepSeek这样的原生FP4+FP8模型，不然不建议折腾FP4.即便是DeepSeek，现在也有很多人把V4 Flash的FP4部分转成INT4存储。简单点说说，没个200G显存，不要折腾这玩意。

[williamlouis]

这卡太出名了。然后用他入门的太多。而且应对不了生产力。就是个学习机。花费大量时间就是为了学习。但是生产力中，目前看还没有它。

[t68823878]

VLLM_ATTENTION_BACKEND=FlashInfer VLLM_PROFILER_ESTIMATE_CUDAGRAPHS=1 python3 -m vllm.entrypoints.openai.api_server
--model /models/qwen/Qwen3.6-27B-FP8
--trust-remote-code
--max-model-len 131072
--kv-cache-dtype fp8_e4m3
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 8192
--max-num-seqs 2
--speculative-config '{"method": "mtp", "num_speculative_tokens": 3}'
--served-model-name "Qwen-27B-FP8"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000

半晚上研究，转向使用官方FP8模型，开启MTP，预测3字，基本上能够在90tk的速度。保证基础运行的情况下能够余下40GB左右的空间来搞comfyui，接下来就是继续研究怎么弄comfyui了。
或者说是先研究hermes，然后让他帮我搞定comfyui，有没有大神给点建议？