7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享
-
VLLM_ATTENTION_BACKEND=FlashInfer VLLM_PROFILER_ESTIMATE_CUDAGRAPHS=1 python3 -m vllm.entrypoints.openai.api_server
--model /models/qwen/Qwen3.6-27B-FP8
--trust-remote-code
--max-model-len 131072
--kv-cache-dtype fp8_e4m3
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 8192
--max-num-seqs 2
--speculative-config '{"method": "mtp", "num_speculative_tokens": 3}'
--served-model-name "Qwen-27B-FP8"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000半晚上研究，转向使用官方FP8模型，开启MTP，预测3字，基本上能够在90tk的速度。保证基础运行的情况下能够余下40GB左右的空间来搞comfyui，接下来就是继续研究怎么弄comfyui了。
或者说是先研究hermes，然后让他帮我搞定comfyui，有没有大神给点建议？@t68823878 你先把opencode(或者claude code, codex)装上，其他的应该都会简单很多。
-
@williamlouis 确实如此，A卡在两年前确实只能玩玩游戏，vulkan后端那会儿也不不大行，rocm更拉跨。但现在慢慢赶上了，生产力我觉得是可以的，环境搭好了，每天只管跑，也还稳定，算不上很快，但是确实能解决问题。 这性价比 我觉得不差，总之比intel家的新卡强很多，全靠直面参数了撑场面了。
@David-Zhang 我直接重度 api 。业务方向不一样。我是搞编程的。
-
docker run --gpus all -it --rm --ipc=host --net=host
-v /home/yangxu/models:/models
nvcr.io/nvidia/vllm:26.04-py3
python3 -m vllm.entrypoints.openai.api_server
--model /models/unsloth/Qwen3.6-27B-NVFP4
--trust-remote-code
--max-model-len 200000
--kv-cache-dtype fp8
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 32768
--max-num-seqs 4
--served-model-name "Blackwell-Qwen-27B"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000以上是用VLLM跑的参数，用的RTX PRO 6000跑unsloth/Qwen3.6-27B-NVFP4，为什么感觉速度比较慢呢？还是说这个49每秒都算是正常速度了？还望大神指导
llama.cpp 好像最近才支持把，
https://www.reddit.com/r/LocalLLaMA/comments/1svfjyv/fp4_inference_in_llamacpp_nvfp4_and_ik_llamacpp/这个pr 刚merge，你用opencode让它给你弄，应该不难，让它给你调试，它会看模型是否合适还是哪里问题。
https://github.com/ggml-org/llama.cpp/pull/22196 -
@Miraco 小白先装opencode，让它给你搞。有问题先问它。
-
@David-Zhang 我直接重度 api 。业务方向不一样。我是搞编程的。
williamlouis 我也是啊，感觉现在developer 快要回家种地去了。
api吧，deepseek v4真香 -
@Miraco 对于小白来说，现在还不是时候。目前还是一个PR，等合入llama.cpp主线版本后，你再去拿来用，别花时间现在去折腾。目前2大问题：
- MTP虽然能大幅增加推理吐字速度，但同时会导致Prefill速度降低，这是社区已知bug，有大神在积极处理，不妨等着。因为对于Hermes Agent或者编程Agent这一类的应用而言，上下文很长，Prefill速度和推理吐字的速度（TG速度），对于人的感受同样重要。
- 目前上了PR里的MTP，就只能上一个并发(-np 1)，对于有subagent的应用来说，还是有点影响。
总之就是小白不建议折腾，坐等社区进主线用稳定版的，它才香。
-
全是干货, 感谢分享!
-
llama-benchy result:
cd /var/home/deck/tmp/llama-benchy uv run llama-benchy \ --base-url http://127.0.0.1:8081/v1 \ --model froggeric/Qwen3.6-27B-MTP-GGUF \ --served-model-name Qwen3.6-27B-Q4_K_M-mtp.gguf \ --tokenizer Qwen/Qwen3.6-27B \ --pp 2048 --tg 32 \ --depth 0 8192 32768 \ --runs 1 --no-cache --latency-mode generation --skip-coherence \ --save-result results/qwen36-27b-mtp-8081-sample-20260513.json --format json Results: | context depth | pp t/s | tg t/s | peak tg t/s | TTFR | est PPT | |---|---:|---:|---:|---:|---:| | 0 | 457.92 | 29.75 | 30.0 | 4693 ms | 4477 ms | | 8192 | 432.96 | 28.24 | 29.0 | 23870 ms | 23654 ms | | 32768 | 329.57 | 25.24 | 27.0 | 105856 ms | 105640 ms | .venv/bin/llama-benchy \ --base-url http://127.0.0.1:8081/v1 \ --model Qwen/Qwen3.6-27B \ --served-model-name Qwen_Qwen3.6-27B-Q4_K_M.gguf \ --tokenizer Qwen/Qwen3.6-27B \ --pp 2048 \ --tg 32 \ --depth 0 8192 32768 \ --runs 1 \ --latency-mode generation \ --save-result results/qwen36-27b-original-8081-20260513T235739Z.json \ --format json Results: | depth | pp t/s | tg t/s | TTFR ms | |---|---:|---:|---:| | 0 | 685.49 | 30.63 | 3190.39 | | 8192 | 640.61 | 30.00 | 16184.55 | | 32768 | 486.52 | 28.16 | 71766.55 |llama.cpp server config:
#MODEL="/run/media/deck/ExternalSSD/.llama.cpp/models/froggeric_Qwen3.6-27B-MTP-GGUF/Qwen3.6-27B-Q4_K_M-mtp.gguf" MODEL="/var/run/media/deck/ExternalSSD/.llama.cpp/models/Qwen_Qwen3.6-27B-GGUF/Qwen_Qwen3.6-27B-Q4_K_M.gguf" # cd "/var/home/deck/tmp/llama-pr-22673-mtp-clean/build-vulkan-pr22673/bin" cd "/var/home/deck/code/llama.cpp/build-vulkan/bin" export VK_LOADER_LAYERS_DISABLE=VK_LAYER_LS_frame_generation exec ./llama-server \ -m "$MODEL" \ -ngl 99 \ -dev Vulkan0 \ -fa on \ -c 200000 \ -ctk q4_0 \ -ctv q4_0 \ -ub 256 \ --temp 0.2 \ --top-k 20 \ --parallel 1 \ -rea off \ --reasoning-budget 0 \ --host "$HOST" \ --port "$PORT" # MTP flags: # --spec-type mtp # --spec-draft-n-max 2昨天测了一天感觉MTP打开没有变化（～30tok/s），用了几轮就会爆VRAM, 希望指正哪里出问题了。
我是用beelink ser7 + eGPU 7900xtx + bazzite + hermes agent + discrod
现在基本可以游戏/LLM随时切换, eGPU坑还是很多， 在等x99主板到装机eGPU坑：
用all-ways-egpu可以点亮显卡+游戏
Kfd/ROCm没发使用,试了setup时不去设置iGPU kfd就能用了，但是bazzite不能进game mode了，还在找最后解决方案
-
llama-benchy result:
cd /var/home/deck/tmp/llama-benchy uv run llama-benchy \ --base-url http://127.0.0.1:8081/v1 \ --model froggeric/Qwen3.6-27B-MTP-GGUF \ --served-model-name Qwen3.6-27B-Q4_K_M-mtp.gguf \ --tokenizer Qwen/Qwen3.6-27B \ --pp 2048 --tg 32 \ --depth 0 8192 32768 \ --runs 1 --no-cache --latency-mode generation --skip-coherence \ --save-result results/qwen36-27b-mtp-8081-sample-20260513.json --format json Results: | context depth | pp t/s | tg t/s | peak tg t/s | TTFR | est PPT | |---|---:|---:|---:|---:|---:| | 0 | 457.92 | 29.75 | 30.0 | 4693 ms | 4477 ms | | 8192 | 432.96 | 28.24 | 29.0 | 23870 ms | 23654 ms | | 32768 | 329.57 | 25.24 | 27.0 | 105856 ms | 105640 ms | .venv/bin/llama-benchy \ --base-url http://127.0.0.1:8081/v1 \ --model Qwen/Qwen3.6-27B \ --served-model-name Qwen_Qwen3.6-27B-Q4_K_M.gguf \ --tokenizer Qwen/Qwen3.6-27B \ --pp 2048 \ --tg 32 \ --depth 0 8192 32768 \ --runs 1 \ --latency-mode generation \ --save-result results/qwen36-27b-original-8081-20260513T235739Z.json \ --format json Results: | depth | pp t/s | tg t/s | TTFR ms | |---|---:|---:|---:| | 0 | 685.49 | 30.63 | 3190.39 | | 8192 | 640.61 | 30.00 | 16184.55 | | 32768 | 486.52 | 28.16 | 71766.55 |llama.cpp server config:
#MODEL="/run/media/deck/ExternalSSD/.llama.cpp/models/froggeric_Qwen3.6-27B-MTP-GGUF/Qwen3.6-27B-Q4_K_M-mtp.gguf" MODEL="/var/run/media/deck/ExternalSSD/.llama.cpp/models/Qwen_Qwen3.6-27B-GGUF/Qwen_Qwen3.6-27B-Q4_K_M.gguf" # cd "/var/home/deck/tmp/llama-pr-22673-mtp-clean/build-vulkan-pr22673/bin" cd "/var/home/deck/code/llama.cpp/build-vulkan/bin" export VK_LOADER_LAYERS_DISABLE=VK_LAYER_LS_frame_generation exec ./llama-server \ -m "$MODEL" \ -ngl 99 \ -dev Vulkan0 \ -fa on \ -c 200000 \ -ctk q4_0 \ -ctv q4_0 \ -ub 256 \ --temp 0.2 \ --top-k 20 \ --parallel 1 \ -rea off \ --reasoning-budget 0 \ --host "$HOST" \ --port "$PORT" # MTP flags: # --spec-type mtp # --spec-draft-n-max 2昨天测了一天感觉MTP打开没有变化（～30tok/s），用了几轮就会爆VRAM, 希望指正哪里出问题了。
我是用beelink ser7 + eGPU 7900xtx + bazzite + hermes agent + discrod
现在基本可以游戏/LLM随时切换, eGPU坑还是很多， 在等x99主板到装机eGPU坑：
用all-ways-egpu可以点亮显卡+游戏
Kfd/ROCm没发使用,试了setup时不去设置iGPU kfd就能用了，但是bazzite不能进game mode了，还在找最后解决方案@ken-huang
AMD用不不要用显卡坞，别问我怎么知道的
，特么的真是折腾，英伟达只是小毛病，这个是一堆暗病。
-
-
@Leon-Y ollama是个玩具不是工具，换llama.cpp或者 vllm
-
系统 取消固定了该主题
-
T terry 固定了该主题
-
感謝大神分享！好人一生平安
-
张 张鑫磊 被引用 于这个主题
-
此配置经测试（Hermes跑大任务），24G的显存 容易爆OOM
所以改为了
--ctx-size 65536
--batch-size 512
--ubatch-size 128 \
