7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享
-
没有完全按楼主提供的模型，只是增加了mmproj，感觉7900 不到30t/s，不知道Hermis怎么样。“/home/devin/work/llama.cpp-turboquant/build/bin/llama-server
-m /home/devin/work/models/Qwen3.6-27B-Q4_K_M.gguf
--mmproj /home/devin/work/models/mmproj-Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-f16.gguf
--host 0.0.0.0
--port 8081
--n-gpu-layers 999
--ctx-size 262144
--batch-size 2048
--ubatch-size 768
--threads 8
--temp 1.0
--top-p 0.95
--top-k 20
--min-p 0.00
--presence_penalty 1.5
--cache-type-k turbo3
--cache-type-v turbo3” -
@Miraco 对于小白来说，现在还不是时候。目前还是一个PR，等合入llama.cpp主线版本后，你再去拿来用，别花时间现在去折腾。目前2大问题：
- MTP虽然能大幅增加推理吐字速度，但同时会导致Prefill速度降低，这是社区已知bug，有大神在积极处理，不妨等着。因为对于Hermes Agent或者编程Agent这一类的应用而言，上下文很长，Prefill速度和推理吐字的速度（TG速度），对于人的感受同样重要。
- 目前上了PR里的MTP，就只能上一个并发(-np 1)，对于有subagent的应用来说，还是有点影响。
总之就是小白不建议折腾，坐等社区进主线用稳定版的，它才香。
-
T terry 取消固定了该主题
-
T terry 固定了该主题
-
docker run --gpus all -it --rm --ipc=host --net=host
-v /home/yangxu/models:/models
nvcr.io/nvidia/vllm:26.04-py3
python3 -m vllm.entrypoints.openai.api_server
--model /models/unsloth/Qwen3.6-27B-NVFP4
--trust-remote-code
--max-model-len 200000
--kv-cache-dtype fp8
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 32768
--max-num-seqs 4
--served-model-name "Blackwell-Qwen-27B"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000以上是用VLLM跑的参数，用的RTX PRO 6000跑unsloth/Qwen3.6-27B-NVFP4，为什么感觉速度比较慢呢？还是说这个49每秒都算是正常速度了？还望大神指导
-
docker run --gpus all -it --rm --ipc=host --net=host
-v /home/yangxu/models:/models
nvcr.io/nvidia/vllm:26.04-py3
python3 -m vllm.entrypoints.openai.api_server
--model /models/unsloth/Qwen3.6-27B-NVFP4
--trust-remote-code
--max-model-len 200000
--kv-cache-dtype fp8
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 32768
--max-num-seqs 4
--served-model-name "Blackwell-Qwen-27B"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000以上是用VLLM跑的参数，用的RTX PRO 6000跑unsloth/Qwen3.6-27B-NVFP4，为什么感觉速度比较慢呢？还是说这个49每秒都算是正常速度了？还望大神指导
docker run --gpus all -it --rm --ipc=host --net=host
-v /home/yangxu/models:/models
nvcr.io/nvidia/vllm:26.04-py3
python3 -m vllm.entrypoints.openai.api_server
--model /models/unsloth/Qwen3.6-27B-NVFP4
--trust-remote-code
--max-model-len 200000
--kv-cache-dtype fp8
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 32768
--max-num-seqs 4
--served-model-name "Blackwell-Qwen-27B"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000以上是用VLLM跑的参数，用的RTX PRO 6000跑unsloth/Qwen3.6-27B-NVFP4，为什么感觉速度比较慢呢？还是说这个49每秒都算是正常速度了？还望大神指导
你没有开MTP，这个速度算正常了吧。4090如果不开MTP，才40左右。打开MTP，推理速度会暴增。另外真羡慕你的PRO 6000，但你都PRO 6000了，还跑啥量化啊？可惜了啊。
-
docker run --gpus all -it --rm --ipc=host --net=host
-v /home/yangxu/models:/models
nvcr.io/nvidia/vllm:26.04-py3
python3 -m vllm.entrypoints.openai.api_server
--model /models/unsloth/Qwen3.6-27B-NVFP4
--trust-remote-code
--max-model-len 200000
--kv-cache-dtype fp8
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 32768
--max-num-seqs 4
--served-model-name "Blackwell-Qwen-27B"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000以上是用VLLM跑的参数，用的RTX PRO 6000跑unsloth/Qwen3.6-27B-NVFP4，为什么感觉速度比较慢呢？还是说这个49每秒都算是正常速度了？还望大神指导
你没有开MTP，这个速度算正常了吧。4090如果不开MTP，才40左右。打开MTP，推理速度会暴增。另外真羡慕你的PRO 6000，但你都PRO 6000了，还跑啥量化啊？可惜了啊。
-
@Fred 因为还要留显存跑comfyui做音视频，而且我看网上说BLACKWELL架构跑NVFP4和FP8精度是差不多的，速度上还有一定优势，所以就用了NVFP4，后面我看看FP8精度的情况下能够跑到多少速度。
-
@Fred 因为还要留显存跑comfyui做音视频，而且我看网上说BLACKWELL架构跑NVFP4和FP8精度是差不多的，速度上还有一定优势，所以就用了NVFP4，后面我看看FP8精度的情况下能够跑到多少速度。
哦。那你开MTP，应该就齐活了，推理速度至少能上到80以上吧。我的4090都偶尔能到80。在你的参数里加
--speculative-config '{"method": "mtp", "num_speculative_tokens": 3}' \ -
我只希望没买卡的 规避7900XTX。小霸王学习机吗？
-
VLLM_ATTENTION_BACKEND=FlashInfer VLLM_PROFILER_ESTIMATE_CUDAGRAPHS=1 python3 -m vllm.entrypoints.openai.api_server
--model /models/qwen/Qwen3.6-27B-FP8
--trust-remote-code
--max-model-len 131072
--kv-cache-dtype fp8_e4m3
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 8192
--max-num-seqs 2
--speculative-config '{"method": "mtp", "num_speculative_tokens": 3}'
--served-model-name "Qwen-27B-FP8"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000半晚上研究，转向使用官方FP8模型，开启MTP，预测3字，基本上能够在90tk的速度。保证基础运行的情况下能够余下40GB左右的空间来搞comfyui，接下来就是继续研究怎么弄comfyui了。
或者说是先研究hermes，然后让他帮我搞定comfyui，有没有大神给点建议？ -
这卡太出名了。然后用他入门的太多。而且应对不了生产力。就是个学习机。花费大量时间就是为了学习。但是生产力中，目前看还没有它。
@williamlouis 确实如此，A卡在两年前确实只能玩玩游戏，vulkan后端那会儿也不不大行，rocm更拉跨。但现在慢慢赶上了，生产力我觉得是可以的，环境搭好了，每天只管跑，也还稳定，算不上很快，但是确实能解决问题。 这性价比 我觉得不差，总之比intel家的新卡强很多，全靠直面参数了撑场面了。
-
VLLM_ATTENTION_BACKEND=FlashInfer VLLM_PROFILER_ESTIMATE_CUDAGRAPHS=1 python3 -m vllm.entrypoints.openai.api_server
--model /models/qwen/Qwen3.6-27B-FP8
--trust-remote-code
--max-model-len 131072
--kv-cache-dtype fp8_e4m3
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 8192
--max-num-seqs 2
--speculative-config '{"method": "mtp", "num_speculative_tokens": 3}'
--served-model-name "Qwen-27B-FP8"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000半晚上研究，转向使用官方FP8模型，开启MTP，预测3字，基本上能够在90tk的速度。保证基础运行的情况下能够余下40GB左右的空间来搞comfyui，接下来就是继续研究怎么弄comfyui了。
或者说是先研究hermes，然后让他帮我搞定comfyui，有没有大神给点建议？@t68823878 你先把opencode(或者claude code, codex)装上，其他的应该都会简单很多。
-
@williamlouis 确实如此，A卡在两年前确实只能玩玩游戏，vulkan后端那会儿也不不大行，rocm更拉跨。但现在慢慢赶上了，生产力我觉得是可以的，环境搭好了，每天只管跑，也还稳定，算不上很快，但是确实能解决问题。 这性价比 我觉得不差，总之比intel家的新卡强很多，全靠直面参数了撑场面了。
@David-Zhang 我直接重度 api 。业务方向不一样。我是搞编程的。
-
docker run --gpus all -it --rm --ipc=host --net=host
-v /home/yangxu/models:/models
nvcr.io/nvidia/vllm:26.04-py3
python3 -m vllm.entrypoints.openai.api_server
--model /models/unsloth/Qwen3.6-27B-NVFP4
--trust-remote-code
--max-model-len 200000
--kv-cache-dtype fp8
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 32768
--max-num-seqs 4
--served-model-name "Blackwell-Qwen-27B"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000以上是用VLLM跑的参数，用的RTX PRO 6000跑unsloth/Qwen3.6-27B-NVFP4，为什么感觉速度比较慢呢？还是说这个49每秒都算是正常速度了？还望大神指导
llama.cpp 好像最近才支持把，
https://www.reddit.com/r/LocalLLaMA/comments/1svfjyv/fp4_inference_in_llamacpp_nvfp4_and_ik_llamacpp/这个pr 刚merge，你用opencode让它给你弄，应该不难，让它给你调试，它会看模型是否合适还是哪里问题。
https://github.com/ggml-org/llama.cpp/pull/22196 -
@Miraco 小白先装opencode，让它给你搞。有问题先问它。
-
@David-Zhang 我直接重度 api 。业务方向不一样。我是搞编程的。
williamlouis 我也是啊，感觉现在developer 快要回家种地去了。
api吧，deepseek v4真香 -
@Miraco 对于小白来说，现在还不是时候。目前还是一个PR，等合入llama.cpp主线版本后，你再去拿来用，别花时间现在去折腾。目前2大问题：
- MTP虽然能大幅增加推理吐字速度，但同时会导致Prefill速度降低，这是社区已知bug，有大神在积极处理，不妨等着。因为对于Hermes Agent或者编程Agent这一类的应用而言，上下文很长，Prefill速度和推理吐字的速度（TG速度），对于人的感受同样重要。
- 目前上了PR里的MTP，就只能上一个并发(-np 1)，对于有subagent的应用来说，还是有点影响。
总之就是小白不建议折腾，坐等社区进主线用稳定版的，它才香。
