<![CDATA[7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享]]>最近刚入手了 7900xtx，本地跑llm, 为opencode, pi.dev 提供本地llm api 解决客户的代码隐私焦虑。

花了亿点点时间跑了下性能，结果如下，供各位参考。流水账，先不贴llama-bench 结果了，太多。

先发 老特 这里了，回头有空了再发个reddit
回头等DFlash + HIP(ROCM) 成熟了再跑下看看。

1. Rocm + turboquant,

repo: https://github.com/domvox/llama.cpp-turboquant-hip
性能: 256k上下文, pp: 970t/s tg: 29t/s
Comment：目前测试，除了反应没在线api 快，生成代码的质量不比在线api 差。

~/llama.cpp-turboquant-hip/rocm/llama-server -m ~/model/llm/qwen3.6-27b/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf   --mmproj ~/model/llm/qwen3.6-27b/mmproj-Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-f16.gguf   --alias qwen3.6-27b   --host 0.0.0.0   --port 8080   --n-gpu-layers 999   --ctx-size 262144   --batch-size 2048   --ubatch-size 768   --threads 8   --temp 1.0      --top-p 0.95     --top-k 20     --min-p 0.00   --presence_penalty 1.5   --cache-type-k turbo3   --cache-type-v turbo3

2. Vulkan

repo: https://github.com/ggml-org/llama.cpp
性能: 256k上下文, kv-cache-type: Q4_0, pp: 730t/s tg: 47t/s, （Q8_0会慢一丢丢）

~/Downloads/llama.cpp/vulkan/bin/llama-server -m ~/model/llm/qwen3.6-27b/Qwen3.6-27B-Q4_K_M-mtp.gguf   --alias qwen3.6-27b  --cache-type-k q4_0 --cache-type-v q4_0 -np 1 -c 262144 --temp 0.7 --top-k 20 -ngl 99   --port 8080 --host 0.0.0.0   -fa 1 -ub 256

2.1 Vulkan + turboquant,

repo: https://github.com/TheTom/llama-cpp-turboquant
性能: 256k上下文, kv-cache-type: Q4_0, tg: 10t/s, decoding 时 GPU 使用率不到 30%，速度拉跨。开MTP 也 差不多。

~/llama.cpp/build/bin/llama-server   -m ~/model/llm/qwen3.6-27b/Qwen3.6-27B-Q4_K_M-mtp.gguf   --alias qwen3.6-27b   --cache-type-k turbo3 --cache-type-v turbo3   -np 1 -c 262144 --temp 0.7 --top-k 20 -ngl 99   --port 8080 --host 0.0.0.0   -fa 1 -ub 256

3. Vulkan + MTP

repo/pr:
https://github.com/ggml-org/llama.cpp/pull/22673
性能: 256k上下文, kv-cache-type: Q4_0, pp: 730t/s tg: 67t/s， VRAM 占用跟不开MTP 差不多，

~/Downloads/llama.cpp/vulkan/bin/llama-server -m ~/model/llm/qwen3.6-27b/Qwen3.6-27B-Q4_K_M-mtp.gguf   --alias qwen3.6-27b   --spec-type mtp --spec-draft-n-max 3   --cache-type-k q4_0 --cache-type-v q4_0 -np 1 -c 262144 --temp 0.7 --top-k 20 -ngl 99   --port 8080 --host 0.0.0.0   -fa 1 -ub 256

3. Rocm + MTP

repo/pr: https://github.com/ggml-org/llama.cpp/pull/22673
性能: 4k上下文, kv-cache-type: Q4_0, pp: 730t/s tg: 67t/s
Comment: Rocm的backend + MTP 有问题，VRAM 在开始 对话时 暴增 5G，具体原因不明，所以 最多8k上下文， Rocm目前的好处 是由 turbo quant 集成。

~/llama.cpp/build/bin/llama-server   -m ~/model/llm/qwen3.6-27b/Qwen3.6-27B-Q4_K_M-mtp.gguf   --alias qwen3.6-27b   --spec-type mtp --spec-draft-n-max 3   --cache-type-k q4_0 --cache-type-v q4_0   -np 1 -c 4096 --temp 0.7 --top-k 20 -ngl 99   --port 8080 --host 0.0.0.0   -fa 1 -ub 256

4.Hipfire (DFlash) v0.1.20

repo: https://github.com/Kaden-Schutt/hipfire
性能: 4k上下文， pp: 930t/s tg: 46t/s，
Comment: 只能chat聊天，速度很快，默认开启 DFlash, 但是 上下文8k 以上就会卡死，或者崩溃, 没法给 opencode 或者pi 使用，等三个月半年再看看。

5. 老卡 P40 24G，

repo: https://github.com/TheTom/llama-cpp-turboquant
pr: https://github.com/ggml-org/llama.cpp/pull/22673

不开MTP

性能: 196k 上下文，tg: 10t/s，

~/llama.cpp-mtp/build/bin/llama-server -m ~/model/llm/qwen3.6-27b/Qwen3.6-27B-Q4_K_M-mtp.gguf   --alias qwen3.6-27b  --cache-type-k turbo3 --cache-type-v turbo3 -c 196608 --temp 0.7 --top-k 20 -ngl 99   --port 8080 --host 0.0.0.0   -fa 1 -ub 256
开MTP

性能: 196k上下文，tg: 17t/s，

~/llama-cpp-turboquant/build/bin/llama-server -m ~/model/llm/qwen3.6-27b/Qwen3.6-27B-Q4_K_M-mtp.gguf   --alias qwen3.6-27b   --spec-type mtp --spec-draft-n-max 3   --cache-type-k turbo3 --cache-type-v turbo3   -np 1 -c 196608 --temp 0.7 --top-k 20 -ngl 99   --port 8080 --host 0.0.0.0   -fa 1 -ub 256

opencode + deepseek v4 帮我跑了一把，结果如下

  • 如果追求性能 Vulkan + MTP 效果最好，
  • MTP的性能不是恒定的，不同的上下文或者任务，可能存在很大的差别，你让他写小说，规划日常，写代码，性能提升可能会不一样，跑分仅供参考。
  • MTP 目前只能单个对话session，没法并行。
  • Vuklan 后端对 Turbo quant的支持还有存在问题， GPU利用率不够，还得优化。
  • Rocm + MTP 存在 VRAM问题，会无端暴涨5G占用，导致跑起来最多8k多一点。

llama-bench 测试结果

环境

ROCm (HIP) - KV缓存类型对比 (非MTP)

二进制: ~/llama.cpp/rocm/bin/llama-bench (build 9046)

KV缓存类型 pp1024 (token/s) tg128 (token/s)
f16 (默认) 904.50 28.99
q4_0 898.01 28.81

Vulkan - KV缓存类型对比 (非MTP)

标准构建 (~/Downloads/llama.cpp/build-vulkan/bin/llama-bench)

KV缓存类型 pp512 (token/s) tg128 (token/s)
f16 765.94 37.06
Q4_0 769.82 37.17
Q8_0 273.25 37.13

Turboquant 构建 (~/Downloads/llama-cpp-turboquant/build-vulkan/bin/llama-bench)

KV缓存类型 pp512 (token/s) tg128 (token/s)
turbo2 193.43 ± 1.49 23.79 ± 0.17
turbo3 128.44 ± 1.31 21.88 ± 0.14
turbo4 178.94 ± 2.03 23.00 ± 0.25

注意：turboquant 测试期间 GPU 使用率仅约 30%，未能充分利用 GPU。瓶颈可能在 CPU 端的量化/反量化操作。

q4_0/q8_0 在 turboquant 构建的 llama-bench 中仍然失败。

Vulkan + MTP

二进制: ~/llama.cpp/vulkan/bin/llama-cli
命令: --spec-type mtp --spec-draft-n-max 3 --parallel 1 -p "tell me a jok" -n 128 -ngl 999

注意：MTP 使用 -np 1（单并行序列），因此无法并行处理。草稿模型顺序执行，限制了吞吐量。

配置 生成速度 (token/s)
非MTP (f16) 39.5
MTP (q4_0) 81.2
MTP (q8_0) 77.5

ROCm + MTP

二进制: ~/llama.cpp/rocm/bin/llama-cli 配合 LD_LIBRARY_PATH

配置 生成速度 (token/s)
非MTP (f16) 29.4
MTP (q4_0) 53.6
MTP (turbo3) 47.4
MTP (turbo4) 57.2

总结

非MTP (llama-bench)

KV缓存类型 pp (token/s) tg128 (token/s) 后端
f16 904.50 28.99 ROCm (pp1024)
q4_0 898.01 28.81 ROCm (pp1024)
f16 765.94 37.06 Vulkan 标准 (pp512)
Q4_0 769.82 37.17 Vulkan 标准 (pp512)
Q8_0 273.25 37.13 Vulkan 标准 (pp512)
turbo2 193.43 23.79 Vulkan turboquant (pp512)
turbo4 178.94 23.00 Vulkan turboquant (pp512)
turbo3 128.44 21.88 Vulkan turboquant (pp512)

MTP (llama-cli)

配置 生成速度 (token/s) 后端
MTP (q4_0) 81.2 Vulkan
MTP (q8_0) 77.5 Vulkan
MTP (turbo4) 57.2 ROCm
MTP (q4_0) 53.6 ROCm
MTP (turbo3) 47.4 ROCm
非MTP (f16) 39.5 Vulkan
非MTP (f16) 29.4 ROCm

关键观察

  1. ROCm 上的 q4_0 性能与 f16 几乎相同 (898 vs 905 token/s) — 差异可忽略。
  2. Turboquant 类型 仅适用于 turboquant Vulkan 构建。turbo2 的提示处理最快 (193 token/s @ pp512)。各 turbo 变体的生成速度相近 (~22-24 token/s)。
  3. 标准 Vulkan 构建 支持 Q4_0/Q8_0 — Q4_0 与 f16 速度相当 (~770 token/s pp512)，Q8_0 提示处理慢约 2.8 倍 (273 token/s) 但生成速度相同 (~37 token/s)。Turbo 类型仅适用于 turboquant 构建。
  4. MTP 显著提升生成速度：Vulkan+q4_0 达到 81.2 token/s（比非MTP 提升 +106%），Vulkan+q8_0 达到 77.5 token/s (+96%)，ROCm+turbo4 达到 57.2 token/s (+95%)。

reddit

]]>https://lcz.me/topic/100/7900xtx-llama.cpp-qwen3.6-27b-turboquant-mtp-测试结果分享RSS for NodeWed, 20 May 2026 06:05:02 GMTMon, 11 May 2026 07:40:39 GMT60<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Mon, 18 May 2026 03:00:11 GMT]]>5cfbd3e5-4dfc-4456-9395-5faf08254a33-image.jpeg
有，但是huggingface会更多

]]>https://lcz.me/post/2241https://lcz.me/post/2241Mon, 18 May 2026 03:00:11 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Mon, 18 May 2026 02:43:51 GMT]]>@david-zhang Qwen3.6-27B-Q4_K_M-mtp.gguf这个是不是只有huggingface上有modelscope上找不到

]]>https://lcz.me/post/2236https://lcz.me/post/2236Mon, 18 May 2026 02:43:51 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Sun, 17 May 2026 15:39:41 GMT]]>@Devin-Hi 改了之后呢？改进如何？我也想抄作业了。

]]>https://lcz.me/post/2189https://lcz.me/post/2189Sun, 17 May 2026 15:39:41 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Sun, 17 May 2026 02:58:55 GMT]]>感謝大神分享！好人一生平安

]]>https://lcz.me/post/2054https://lcz.me/post/2054Sun, 17 May 2026 02:58:55 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Fri, 15 May 2026 11:15:33 GMT]]>牛啊，大佬，学习了

]]>https://lcz.me/post/1826https://lcz.me/post/1826Fri, 15 May 2026 11:15:33 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Fri, 15 May 2026 09:18:37 GMT]]>22673测试下来windows下概率崩溃,找不到原因

]]>https://lcz.me/post/1810https://lcz.me/post/1810Fri, 15 May 2026 09:18:37 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Fri, 15 May 2026 00:48:11 GMT]]>

@David-Zhang 说:

@Leon-Y ollama是个玩具不是工具，换llama.cpp或者 vllm

果然上了llama.cpp，速度起飞，显卡风扇狂吼。

]]>https://lcz.me/post/1720https://lcz.me/post/1720Fri, 15 May 2026 00:48:11 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Thu, 14 May 2026 13:23:18 GMT]]>@Leon-Y ollama是个玩具不是工具，换llama.cpp或者 vllm

]]>https://lcz.me/post/1609https://lcz.me/post/1609Thu, 14 May 2026 13:23:18 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Thu, 14 May 2026 12:33:00 GMT]]>@terry 没有溢出，但极其接近100。目前96.4% 使用率，空闲不到 750 MB。系统日志也没有 GPU OOM 报错。

]]>https://lcz.me/post/1582https://lcz.me/post/1582Thu, 14 May 2026 12:33:00 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Thu, 14 May 2026 12:16:33 GMT]]>@Leon-Y 显存是不是溢出了？

]]>https://lcz.me/post/1578https://lcz.me/post/1578Thu, 14 May 2026 12:16:33 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Thu, 14 May 2026 12:11:27 GMT]]>我搞了个7900 XT 20GB, 用ollama 在跑qwen3.6:27b-q8_0，感觉很慢

]]>https://lcz.me/post/1577https://lcz.me/post/1577Thu, 14 May 2026 12:11:27 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Thu, 14 May 2026 03:24:05 GMT]]>

@Miraco 说:

@Fred 感谢您的指点。

不客气哈，论坛嘛就是自己知道点啥有空就贡献贡献。
其实目前不建议除了prefill变慢，不支持多并发之外，还有个原因就是目前llama.cpp这个MTP分支还不支持--mmproj参数，不能支持图片识别。相当于没有多模态的能力了。如果对图片识别有需求的场景就根本无法用。
当前社区大神还在做一个抽象层框架，把这些spec-decoding的技术都抽象出来，以便后续陆续在同一个框架内合入MTP/DFLASH这一类的功能。这些事情做完之前还不会合并。PR只是给爱折腾，有技术能力的兄弟尝尝鲜的。

]]>https://lcz.me/post/1516https://lcz.me/post/1516Thu, 14 May 2026 03:24:05 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Thu, 14 May 2026 01:04:36 GMT]]>@ken-huang
AMD用不不要用显卡坞，别问我怎么知道的😓，特么的真是折腾，英伟达只是小毛病，这个是一堆暗病。
7900xtx戴尔笔记本显卡坞.jpeg

]]>https://lcz.me/post/1504https://lcz.me/post/1504Thu, 14 May 2026 01:04:36 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Thu, 14 May 2026 00:44:10 GMT]]>llama-benchy result:

cd /var/home/deck/tmp/llama-benchy
uv run llama-benchy \
  --base-url http://127.0.0.1:8081/v1 \
  --model froggeric/Qwen3.6-27B-MTP-GGUF \
  --served-model-name Qwen3.6-27B-Q4_K_M-mtp.gguf \
  --tokenizer Qwen/Qwen3.6-27B \
  --pp 2048 --tg 32 \
  --depth 0 8192 32768 \
  --runs 1 --no-cache --latency-mode generation --skip-coherence \
  --save-result results/qwen36-27b-mtp-8081-sample-20260513.json --format json

Results:

| context depth | pp t/s | tg t/s | peak tg t/s | TTFR | est PPT |
|---|---:|---:|---:|---:|---:|
| 0 | 457.92 | 29.75 | 30.0 | 4693 ms | 4477 ms |
| 8192 | 432.96 | 28.24 | 29.0 | 23870 ms | 23654 ms |
| 32768 | 329.57 | 25.24 | 27.0 | 105856 ms | 105640 ms |

.venv/bin/llama-benchy \
  --base-url http://127.0.0.1:8081/v1 \
  --model Qwen/Qwen3.6-27B \
  --served-model-name Qwen_Qwen3.6-27B-Q4_K_M.gguf \
  --tokenizer Qwen/Qwen3.6-27B \
  --pp 2048 \
  --tg 32 \
  --depth 0 8192 32768 \
  --runs 1 \
  --latency-mode generation \
  --save-result results/qwen36-27b-original-8081-20260513T235739Z.json \
  --format json


Results:
| depth | pp t/s | tg t/s | TTFR ms |
|---|---:|---:|---:|
| 0 | 685.49 | 30.63 | 3190.39 |
| 8192 | 640.61 | 30.00 | 16184.55 |
| 32768 | 486.52 | 28.16 | 71766.55 |

llama.cpp server config:

    #MODEL="/run/media/deck/ExternalSSD/.llama.cpp/models/froggeric_Qwen3.6-27B-MTP-GGUF/Qwen3.6-27B-Q4_K_M-mtp.gguf"
    MODEL="/var/run/media/deck/ExternalSSD/.llama.cpp/models/Qwen_Qwen3.6-27B-GGUF/Qwen_Qwen3.6-27B-Q4_K_M.gguf"

      # cd "/var/home/deck/tmp/llama-pr-22673-mtp-clean/build-vulkan-pr22673/bin"
      cd "/var/home/deck/code/llama.cpp/build-vulkan/bin"

      export VK_LOADER_LAYERS_DISABLE=VK_LAYER_LS_frame_generation

      exec ./llama-server \
        -m "$MODEL" \
        -ngl 99 \
        -dev Vulkan0 \
        -fa on \
        -c 200000 \
        -ctk q4_0 \
        -ctv q4_0 \
        -ub 256 \
	--temp 0.2 \
	--top-k 20 \
	--parallel 1 \
        -rea off \
        --reasoning-budget 0 \
        --host "$HOST" \
        --port "$PORT"

       # MTP flags:
       #       --spec-type mtp 
       #       --spec-draft-n-max 2

昨天测了一天感觉MTP打开没有变化（～30tok/s），用了几轮就会爆VRAM, 希望指正哪里出问题了。
我是用beelink ser7 + eGPU 7900xtx + bazzite + hermes agent + discrod
现在基本可以游戏/LLM随时切换, eGPU坑还是很多， 在等x99主板到装机

eGPU坑：
用all-ways-egpu可以点亮显卡+游戏
Kfd/ROCm没发使用,试了setup时不去设置iGPU kfd就能用了，但是bazzite不能进game mode了，还在找最后解决方案😂

]]>https://lcz.me/post/1496https://lcz.me/post/1496Thu, 14 May 2026 00:44:10 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Wed, 13 May 2026 23:18:45 GMT]]>全是干货, 感谢分享!

]]>https://lcz.me/post/1484https://lcz.me/post/1484Wed, 13 May 2026 23:18:45 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Wed, 13 May 2026 17:36:24 GMT]]>@Fred 感谢您的指点。

]]>https://lcz.me/post/1467https://lcz.me/post/1467Wed, 13 May 2026 17:36:24 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Wed, 13 May 2026 14:37:34 GMT]]>贴子真是全全的干货。学习中

]]>https://lcz.me/post/1418https://lcz.me/post/1418Wed, 13 May 2026 14:37:34 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Wed, 13 May 2026 09:18:10 GMT]]>williamlouis 我也是啊，感觉现在developer 快要回家种地去了。
api吧，deepseek v4真香

]]>https://lcz.me/post/1382https://lcz.me/post/1382Wed, 13 May 2026 09:18:10 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Wed, 13 May 2026 07:31:29 GMT]]>@Miraco 小白先装opencode，让它给你搞。有问题先问它。

]]>https://lcz.me/post/1361https://lcz.me/post/1361Wed, 13 May 2026 07:31:29 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Wed, 13 May 2026 07:30:19 GMT]]>@t68823878

llama.cpp 好像最近才支持把，
https://www.reddit.com/r/LocalLLaMA/comments/1svfjyv/fp4_inference_in_llamacpp_nvfp4_and_ik_llamacpp/

这个pr 刚merge，你用opencode让它给你弄，应该不难，让它给你调试，它会看模型是否合适还是哪里问题。
https://github.com/ggml-org/llama.cpp/pull/22196

]]>https://lcz.me/post/1360https://lcz.me/post/1360Wed, 13 May 2026 07:30:19 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Wed, 13 May 2026 07:28:41 GMT]]>@David-Zhang 我直接重度 api 。业务方向不一样。我是搞编程的。

]]>https://lcz.me/post/1358https://lcz.me/post/1358Wed, 13 May 2026 07:28:41 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Wed, 13 May 2026 07:24:41 GMT]]>@t68823878 你先把opencode(或者claude code, codex)装上，其他的应该都会简单很多。

]]>https://lcz.me/post/1356https://lcz.me/post/1356Wed, 13 May 2026 07:24:41 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Wed, 13 May 2026 07:23:26 GMT]]>@williamlouis 确实如此，A卡在两年前确实只能玩玩游戏，vulkan后端那会儿也不不大行，rocm更拉跨。但现在慢慢赶上了，生产力我觉得是可以的，环境搭好了，每天只管跑，也还稳定，算不上很快，但是确实能解决问题。 这性价比 我觉得不差，总之比intel家的新卡强很多，全靠直面参数了撑场面了。

]]>https://lcz.me/post/1355https://lcz.me/post/1355Wed, 13 May 2026 07:23:26 GMT<![CDATA[Reply to 7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享 on Wed, 13 May 2026 07:17:58 GMT]]>VLLM_ATTENTION_BACKEND=FlashInfer VLLM_PROFILER_ESTIMATE_CUDAGRAPHS=1 python3 -m vllm.entrypoints.openai.api_server
--model /models/qwen/Qwen3.6-27B-FP8
--trust-remote-code
--max-model-len 131072
--kv-cache-dtype fp8_e4m3
--gpu-memory-utilization 0.58
--enable-chunked-prefill
--enable-prefix-caching
--max-num-batched-tokens 8192
--max-num-seqs 2
--speculative-config '{"method": "mtp", "num_speculative_tokens": 3}'
--served-model-name "Qwen-27B-FP8"
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--host 0.0.0.0
--port 8000

半晚上研究，转向使用官方FP8模型，开启MTP，预测3字，基本上能够在90tk的速度。保证基础运行的情况下能够余下40GB左右的空间来搞comfyui，接下来就是继续研究怎么弄comfyui了。
或者说是先研究hermes，然后让他帮我搞定comfyui，有没有大神给点建议？

]]>https://lcz.me/post/1354https://lcz.me/post/1354Wed, 13 May 2026 07:17:58 GMT