使用 spiritbuun/buun-llama-cpp的框架： 注意看它的官网说明：

不用说一眼直接上-ctk turbo8 -ctv turbo8，模型本身权重在4.5BPW左右，配上8.125BPW的K /V 缓存就挺舒服。
如果显存不足可以把-ctv 设置为Q4_0

测试过程中我发现，这个框架的预填充速度比ikllama要快2-3倍。所以才能在150秒内完成测试。

网页编写俄罗斯方块游戏，40秒。
中国象棋，未测试。
昨晚让它帮我解决HP服务器的小问题，不知道跑了多久，已经120多K token了。速度降到80t/s 。

工具调用 ，真的和它自身的量化和“智商”很有关系。有些傻傻的模型就是有工具也不调，有网络也不知道去查。 在 HERMES里面放着SKILL也不用！
目前自动压缩了一次，速度恢复成100多t/s.

另一个会话里面测试召回并压缩：

然后再用压缩的会话继续任务：

后台task数已到4万，依然很稳：

模型下载地址：
https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF/blob/main/Qwen3.6-35B-A3B-UD-IQ4_NL_XL.gguf
19.5GB完美适配24G 3090显卡，XL能提供较高质量，IQ4_NL提供高速度。
不建议使用任何mtp模型，据说容易导致工具链断裂，那再快也没有意义了，要调用 hermes首要考虑的就是tooleval分数和chat template。 而且到了随着对话轮数的增加，KLD都不知道翻了多少倍了，模型也不知道你这轮想干嘛，很容易跑偏 。

框架：
https://github.com/spiritbuun/buun-llama-cpp
建议让hermes阅读主页，按你本地的CPU和GPU来进行针对性编译获得最佳效果。

聊天模板：
apex-qwen-chat-template.jinja

     	 killall llama3-server 2>/dev/null; sleep 3
     killall llama-server 2>/dev/null; sleep 3
	  /data/model3/llama-buun.cpp621/build/bin/llama-server \
   -m  /data/model3/Qwen3.6-35B-A3B-UD-IQ4_NL_XL.gguf \
 --props  \
  -fa on --metrics --fit on -c 170000  \
  -ctk turbo8 -ctv turbo8 --kv-unified -t 6 -tb 4 \
  --jinja --no-mmap --mlock -np 1   -b 8192 -ub 2048  \
  --chat-template-file /data/model2/qwen3.6-27b-gguf/apex-qwen-chat-template.jinja \
  --host 0.0.0.0 --port 8025 \
  --reasoning off   \
    --chat-template-kwargs '{"preserve_thinking":true}' \
  --reasoning-format deepseek --reasoning-budget 300 \
  --temp 0.6 --top-p 0.95 --top-k 20 
  --min-p 0.0 --repeat-penalty 1.1 --frequency-penalty 0.1

1.显存大约稳定在23.1GB(我还有400多MB的固定开销）
2. 最后一行我一般不加载，就直接用前面3个经典参数，跑对话也没问题。 不必拘泥于模型卡的教条。
如果容易爆显存，把-b 8192 -ub 2048 依次除以2，很多地方都是用的-b 2048 -ub 512，如果越大，预填充会越快，但要适当考虑减小上下文长度。
它对tooleva的评测也有一定的的影响 4096/1024只有93分。
3.我的CPU是六核12线程，所以-t 6 ,个人 测试-tb 选择4 效果比较好。
这套配置，模型不会乱飙英文，虽然能看懂，但是有时候很烦模型动不动就飙英文。

总之这个模型，用来本地跑简单任务（更难的任务用deepseek v4 pro，再难上思考模式)，
足够让单卡3090+hermes养老了，还要更好的效果就要加显卡或者换显卡了。

神图：