最后决定升级 llama.cpp 的版本，使用官方编译版本：

llama-b10534-bin-win-cuda-13.3-x64

同时重新调整 llama-server 的启动参数。

llama-server 启动参数

--reasoning off ^
--n-gpu-layers -1 ^
--ctx-size 196608 ^
--flash-attn on ^
--cache-type-k q4_0 ^
--cache-type-v q4_0 ^
--spec-type draft-mtp ^
--spec-draft-n-max 2 ^
--spec-draft-n-min 1 ^
--temp 0.7 ^
--parallel 1 ^
--kv-unified ^
--load-mode mlock ^
--jinja ^
--no-warmup

先上效果截图

与之前的配置比较

这次主要做了三个调整：

1. 上下文长度从 128K 增加到 192K。

2. 移除了 --batch-size 4096 和 --ubatch-size 2048 两个参数，直接交给 llama-server 自己处理。不删除它们的话，跑推理时会加载 CPU 和内存，速度暴跌。

3. --spec-draft-n-max 从 3 改成 2，实际使用下来，命中率和推理速度都有稍许增加。