CUDA_SCALE_LAUNCH_QUEUES=4 /home/simon/llama.cpp/build/bin/llama-server
-m /home/simon/models/Qwen3.6-27B-Q4_K_M.gguf
--mmproj /home/simon/models/mmproj-Qwen_Qwen3.6-27B-f16.gguf
-ngl 99
--host 127.0.0.1
--port 8082
-c 131072
--temp 0.1
--reasoning-budget 2048
--spec-type draft-mtp,ngram-mod
--spec-draft-model /home/simon/models/mtp-Qwen_Qwen3.6-27B-Q8_0.gguf
--spec-draft-n-max 3
--spec-ngram-mod-n-max 5
--spec-ngram-mod-n-min 3
--ubatch-size 768
--batch-size 2048
-fa on
-ctk q4_0
-ctv q4_0

算一下显存账：

• Qwen3.6-27B-Q4_K_M 本身 ≈ 16GB
• KV cache（64K上下文） ≈ 3-4GB
• MTP draft model（额外的小模型做投机采样）≈ 2-3GB
• 总计 ≈ 22-23GB，超过了3080 20G的容量

所以速度暴跌不是因为你配置差，是显存超了，部分参数被offload到内存了。

建议去掉MTP，这样跑：

~/llama.cpp/build/bin/llama-server \
  -m models/Qwen/MTP/Qwen3.6-27B-Q4_K_M.gguf \
  --flash-attn --n-gpu-layers 99 \
  --threads 8 --parallel 1 \
  --ctx-size 64000 \
  -b 2048 -ub 512 \
  --no-mmap \
  --host 0.0.0.0 --port 8080 \
  --jinja --chat-template-file models/Qwen/chat_template.jinja

去掉 --spec-type draft-mtp --spec-draft-n-max 3 和 --no-warmup，ctx-size降到64000。这样3080 20G完全够用，27B Q4应该能跑到15-20 t/s左右，连接Hermes日常用完全没问题。

5950X + 3080 20G 这个组合跑27B其实很均衡，GPU够大CPU也够强。先把不带MTP跑稳了，如果想折腾MTP，可以试试Q3_K_M量化或者ctx-size降到32000。

--spec-type draft-mtp --spec-draft-n-max 3 \

--flash-attn --n-gpu-layers 99 on --threads 6 --parallel 1 \

-ctk q8_0 -ctv q4_0 --ctx-size 96000 \

-b 3072 -ub 1024 --no-warmup --no-mmap \

--host 0.0.0.0 --port 8080 \

--reasoning off --jinja --chat-template-file models/Qwen/chat_template.jinja
能启动 就是太慢了 9_10token得蹦 我想连接hermes
电脑配置是Cup 5950x 48内存