7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享

Fred

此主題已被删除！

Fred

@t68823878 说:

docker run --gpus all -it --rm --ipc=host --net=host
-v /home/yangxu/models:/models
nvcr.io/nvidia/vllm:26.04-py3
python3 -m vllm.entrypoints.openai.api_server
--model /models/unsloth/Qwen3.6-27B-NVFP4
--trust-remote-code
--max-model-len 200000
--kv-cache-dtype fp8
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 32768
--max-num-seqs 4
--served-model-name "Blackwell-Qwen-27B"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000

以上是用VLLM跑的参数，用的RTX PRO 6000跑unsloth/Qwen3.6-27B-NVFP4，为什么感觉速度比较慢呢？还是说这个49每秒都算是正常速度了？还望大神指导

你没有开MTP，这个速度算正常了吧。4090如果不开MTP，才40左右。打开MTP，推理速度会暴增。另外真羡慕你的PRO 6000，但你都PRO 6000了，还跑啥量化啊？可惜了啊。

t68823878

@Fred 因为还要留显存跑comfyui做音视频，而且我看网上说BLACKWELL架构跑NVFP4和FP8精度是差不多的，速度上还有一定优势，所以就用了NVFP4，后面我看看FP8精度的情况下能够跑到多少速度。

Fred

@t68823878 说:

@Fred 因为还要留显存跑comfyui做音视频，而且我看网上说BLACKWELL架构跑NVFP4和FP8精度是差不多的，速度上还有一定优势，所以就用了NVFP4，后面我看看FP8精度的情况下能够跑到多少速度。

哦。那你开MTP，应该就齐活了，推理速度至少能上到80以上吧。我的4090都偶尔能到80。在你的参数里加--speculative-config '{"method": "mtp", "num_speculative_tokens": 3}' \

terry

@Fred NVFP4是权重量化模式，推理还是要BF16或者FP8，FP8推理在有些情况下都可能会崩，KV能够设置到FP8，精度很好。NVFP4量化的权重和INT4没什么精度差异，在本地小模型上几乎无感。但是它如果要反量化到BF16计算，没有INT4效率高。总之除非是DeepSeek这样的原生FP4+FP8模型，不然不建议折腾FP4.即便是DeepSeek，现在也有很多人把V4 Flash的FP4部分转成INT4存储。简单点说说，没个200G显存，不要折腾这玩意。

williamlouis

这卡太出名了。然后用他入门的太多。而且应对不了生产力。就是个学习机。花费大量时间就是为了学习。但是生产力中，目前看还没有它。

t68823878

VLLM_ATTENTION_BACKEND=FlashInfer VLLM_PROFILER_ESTIMATE_CUDAGRAPHS=1 python3 -m vllm.entrypoints.openai.api_server
--model /models/qwen/Qwen3.6-27B-FP8
--trust-remote-code
--max-model-len 131072
--kv-cache-dtype fp8_e4m3
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 8192
--max-num-seqs 2
--speculative-config '{"method": "mtp", "num_speculative_tokens": 3}'
--served-model-name "Qwen-27B-FP8"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000

半晚上研究，转向使用官方FP8模型，开启MTP，预测3字，基本上能够在90tk的速度。保证基础运行的情况下能够余下40GB左右的空间来搞comfyui，接下来就是继续研究怎么弄comfyui了。
或者说是先研究hermes，然后让他帮我搞定comfyui，有没有大神给点建议？

David Zhang

@williamlouis 确实如此，A卡在两年前确实只能玩玩游戏，vulkan后端那会儿也不不大行，rocm更拉跨。但现在慢慢赶上了，生产力我觉得是可以的，环境搭好了，每天只管跑，也还稳定，算不上很快，但是确实能解决问题。这性价比我觉得不差，总之比intel家的新卡强很多，全靠直面参数了撑场面了。

David Zhang

@t68823878 你先把opencode(或者claude code, codex)装上，其他的应该都会简单很多。

williamlouis

@David-Zhang 我直接重度 api 。业务方向不一样。我是搞编程的。

David Zhang

@t68823878

llama.cpp 好像最近才支持把，
https://www.reddit.com/r/LocalLLaMA/comments/1svfjyv/fp4_inference_in_llamacpp_nvfp4_and_ik_llamacpp/

这个pr 刚merge，你用opencode让它给你弄，应该不难，让它给你调试，它会看模型是否合适还是哪里问题。
https://github.com/ggml-org/llama.cpp/pull/22196

David Zhang

@Miraco 小白先装opencode，让它给你搞。有问题先问它。

David Zhang

williamlouis 我也是啊，感觉现在developer 快要回家种地去了。
api吧，deepseek v4真香

拐子001

贴子真是全全的干货。学习中

Miraco

@Fred 感谢您的指点。

michael gong

全是干货, 感谢分享!

ken huang

llama-benchy result:

cd /var/home/deck/tmp/llama-benchy
uv run llama-benchy \
  --base-url http://127.0.0.1:8081/v1 \
  --model froggeric/Qwen3.6-27B-MTP-GGUF \
  --served-model-name Qwen3.6-27B-Q4_K_M-mtp.gguf \
  --tokenizer Qwen/Qwen3.6-27B \
  --pp 2048 --tg 32 \
  --depth 0 8192 32768 \
  --runs 1 --no-cache --latency-mode generation --skip-coherence \
  --save-result results/qwen36-27b-mtp-8081-sample-20260513.json --format json

Results:

| context depth | pp t/s | tg t/s | peak tg t/s | TTFR | est PPT |
|---|---:|---:|---:|---:|---:|
| 0 | 457.92 | 29.75 | 30.0 | 4693 ms | 4477 ms |
| 8192 | 432.96 | 28.24 | 29.0 | 23870 ms | 23654 ms |
| 32768 | 329.57 | 25.24 | 27.0 | 105856 ms | 105640 ms |

.venv/bin/llama-benchy \
  --base-url http://127.0.0.1:8081/v1 \
  --model Qwen/Qwen3.6-27B \
  --served-model-name Qwen_Qwen3.6-27B-Q4_K_M.gguf \
  --tokenizer Qwen/Qwen3.6-27B \
  --pp 2048 \
  --tg 32 \
  --depth 0 8192 32768 \
  --runs 1 \
  --latency-mode generation \
  --save-result results/qwen36-27b-original-8081-20260513T235739Z.json \
  --format json


Results:
| depth | pp t/s | tg t/s | TTFR ms |
|---|---:|---:|---:|
| 0 | 685.49 | 30.63 | 3190.39 |
| 8192 | 640.61 | 30.00 | 16184.55 |
| 32768 | 486.52 | 28.16 | 71766.55 |

llama.cpp server config:

    #MODEL="/run/media/deck/ExternalSSD/.llama.cpp/models/froggeric_Qwen3.6-27B-MTP-GGUF/Qwen3.6-27B-Q4_K_M-mtp.gguf"
    MODEL="/var/run/media/deck/ExternalSSD/.llama.cpp/models/Qwen_Qwen3.6-27B-GGUF/Qwen_Qwen3.6-27B-Q4_K_M.gguf"

      # cd "/var/home/deck/tmp/llama-pr-22673-mtp-clean/build-vulkan-pr22673/bin"
      cd "/var/home/deck/code/llama.cpp/build-vulkan/bin"

      export VK_LOADER_LAYERS_DISABLE=VK_LAYER_LS_frame_generation

      exec ./llama-server \
        -m "$MODEL" \
        -ngl 99 \
        -dev Vulkan0 \
        -fa on \
        -c 200000 \
        -ctk q4_0 \
        -ctv q4_0 \
        -ub 256 \
	--temp 0.2 \
	--top-k 20 \
	--parallel 1 \
        -rea off \
        --reasoning-budget 0 \
        --host "$HOST" \
        --port "$PORT"

       # MTP flags:
       #       --spec-type mtp 
       #       --spec-draft-n-max 2

昨天测了一天感觉MTP打开没有变化（～30tok/s），用了几轮就会爆VRAM, 希望指正哪里出问题了。
我是用beelink ser7 + eGPU 7900xtx + bazzite + hermes agent + discrod
现在基本可以游戏/LLM随时切换, eGPU坑还是很多，在等x99主板到装机

eGPU坑：
用all-ways-egpu可以点亮显卡+游戏
Kfd/ROCm没发使用,试了setup时不去设置iGPU kfd就能用了，但是bazzite不能进game mode了，还在找最后解决方案

terry

@ken-huang
AMD用不不要用显卡坞，别问我怎么知道的，特么的真是折腾，英伟达只是小毛病，这个是一堆暗病。
7900xtx戴尔笔记本显卡坞.jpeg

Fred

@Miraco 说:

@Fred 感谢您的指点。

不客气哈，论坛嘛就是自己知道点啥有空就贡献贡献。
其实目前不建议除了prefill变慢，不支持多并发之外，还有个原因就是目前llama.cpp这个MTP分支还不支持--mmproj参数，不能支持图片识别。相当于没有多模态的能力了。如果对图片识别有需求的场景就根本无法用。
当前社区大神还在做一个抽象层框架，把这些spec-decoding的技术都抽象出来，以便后续陆续在同一个框架内合入MTP/DFLASH这一类的功能。这些事情做完之前还不会合并。PR只是给爱折腾，有技术能力的兄弟尝尝鲜的。

Leon Y

我搞了个7900 XT 20GB, 用ollama 在跑qwen3.6:27b-q8_0，感觉很慢

抡锤者

7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享