抡锤者

主机：

• AMD 7900XTX 24G （Vulkan驱动）
• AMD 9600x + 32G内存
• llama.cpp version: 9293 (1acee6bf8) + Hermes Agent v0.14.0 (2026.5.16)

llama.cpp 启动参数：

~/llama.cpp/build/bin/llama-server -m models/Qwen/MTP/Qwen3.6-27B-Q4_K_M.gguf \
--spec-type draft-mtp --spec-draft-n-max 3 \
--flash-attn --n-gpu-layers 99 on --threads 6 --parallel 1 \
-ctk q8_0 -ctv q4_0 --ctx-size 96000 \
-b 3072 -ub 1024 --no-warmup --no-mmap \
--host 0.0.0.0 --port 8080 \
--reasoning off --jinja --chat-template-file models/Qwen/chat_template.jinja

MTP加持下，本地跑 Qwen3.6-27B-Q4_K_M 速度50+tokens/s，搭配hermes很够用。但是每聊那么几句，控制台总是输出上下文缓存不命中的信息，类似：

17.27.663.317 W slot update_slots: id  0 | task 2894 | forcing full prompt re-processing due to lack of cache data (likely due to SWA or hybrid/recurrent memory, see https://github.com/ggm-org/llama.cpp/pull/13194#issuecomment-2868343055)                                                                                                                                         
17.27.663.319 W slot update_slots: id  0 | task 2894 | erased invalidated context checkpoint (pos_min = 51198, pos_max = 51198, n_tokens = 51199, n_swa = 0, pos_next = 0, size = 231.851 MiB)
......

然后就是缓慢的 prompt processing 和 created context checkpoint 过程。持续几十秒到几分钟不等，显卡风扇呼呼转。 聊得越久，context越大，出现得越频繁。这种情况非常影响思路连贯性，乃至情绪。研究了几个晚上，问遍国内外AI模型，尝试了各种参数组合，都不得其果。

昨天意外刷到了 Qwen-Fixed-Chat-Templates 的介绍，一番试用后，发现效果明显，聊了近一个小时，反复网络搜索+工具调用，缓存不命中的情况只出现个位数次数。感觉流畅很多，不敢独享，记录下来，希望对遇到类似问题的朋友有用。

特别感谢 https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates 作者。下载方式：

hf download froggeric/Qwen-Fixed-Chat-Templates chat_template.jinja --local-dir models/Qwen

至于它的原理，Huggingface 页面上有详细介绍。我偷懒让Gemini去总结，回复如下：

更新下，又发现了一个基于 froggeric 的模板再优化的版本：https://huggingface.co/spiritbuun/buun-Qwen3.6-chat_template 。自己用了两天，如果是一般性的聊天，几乎不再会缓存重建。但调用browser等工具引发大量token引入的情况下，还是会发生。不过已经改善良多了，感谢作者。

下载地址： https://huggingface.co/spiritbuun/buun-Qwen3.6-chat_template/tree/main

另外，我让Hermes监控llama.cpp的输出日志，自己跑两组测试，看看还可以调整哪些参数进一步优化缓存重建的问题。 它调试分析后建议就我的硬件情况，可增加如下参数 --ctx-checkpoints 32 --checkpoint-min-step 256 --cache-ram 12288。大家也可以自己试试。

今天刷到reddit一个新帖，说 https://github.com/ggml-org/llama.cpp/commit/70c4e1582e37e4fd94104eb09301711a0f2675bc 这个 commit（70c4e15）是 llama.cpp 中一个重要的 Vulkan 后端性能优化，核心是为 AMD RDNA3 和 RDNA4 架构的 GPU 实现了 int8 量化矩阵乘法（matmul） 的硬件加速支持，能大幅提升9700XTX的prefill性能。看帖子贴出的图示，貌似针对9B的模型，prefill提升了近30%。

这个commit是9月24日提交的，刚好在v0.5.0发布的第二天。我赶紧更新到最新版实测，可惜在我本机针对Qwen3.8-27B模型，只有5%左右的提升。不过也好，蚊子肉也是肉。

Before：

After：

Qwen3.6-35B-A3B 这种MoE型好一点，但在我本机也只有8%左右的提升。
Before：

After：

@CHIA-AN-YANG 与你情况相同 暂时无解，睡一觉明天再说。

搜了搜论坛，发现不少7900XTX极致优化的帖子，但一般都是魔改llama.cpp 或者双卡或者基于SGLang。我没太多精力去深究，一般倾向于用开箱即用的官方版本。

今天意外刷到 llama.cpp 的 spec : add DFlash2 support (local convolution + candidate selector)- #27342 已经在 8月底 merged。所以，llama.cpp已经官方支持DFlash2。Agent沟通一把后，马上开试：

本机硬件配置

项目	配置
CPU	AMD 9600X
RAM	32GB DDR5
OS	Ubuntu 26.04

准备环境

• llama.cpp 下载到最新版，按标准流程编译

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_VULKAN=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -j$(nproc) --clean-first --target llama-cli  llama-server llama-bench

• 准备好主模型和DFlash2 Draft模型

#主模型用之前一直采用的unsloth 的 Qwen3.8-27B-UD-IQ4_XS.gguf

# 新下载DFlash2 Draft模型
hf download z-lab/Qwen3.8-27B-DFlash2-GGUF Qwen3.8-27B-DFlash2-Q4_K_M.gguf --local-dir /models

• 启动 llama.cpp 测试

llama-server \
  -m /models/Qwen3.8-27B-UD-IQ4_XS.gguf \
  -md /models/Qwen3.8-27B-DFlash2-Q4_K_M.gguf \
  --spec-draft-n-max 4 \
  -ngl 99 -fa on -np 1 \
  -c 163804 -ctk q8_0 -ctv q8_0 -b 2048 -ub 1024 \
  --host 0.0.0.0 --port 8080

简测结果

• spec-draft-n-max 取值3/4/5/6/7，分别测试2次，5最快，但4命中率最高，最后综合选了4。
• spec-draft-n-max 取4的情况下，分测3次，最终结果

题型	速度均值
数学题	100+
写作题	60+
编程	90+

• 搭配dsh，走了一个频繁调动本地工具的长程任务，9轮152步之后，还能稳定在70tokens/s左右 ，很满意了。
  

注意事项

• llama.cpp 启动时会报错，无视就好
  

感谢各开源社区和大牛们的努力，每月每周都有惊喜！

另外，我的llama.cpp 启动参数加了

--jinja --chat-template-file /models/chat_template.jinja --reasoning-format deepseek --reasoning-preserve --reasoning-effort low

体感速度还会快一些。