抡锤者

@JamesPhlao 说:

Q4_K_M

目前是27B Q4_K_M MTP， 可以到50t/s左右

@倭寇国を滅ぼす 说:

现在的用法是，hermes main跑deepseek v4 flash 1m缓存调用。所有的执行全是本地QWEN3.6 27B执行，v4只需要大脑拆分任务和调用，hermes main直接禁用所有工具只允许调度。。速度上天了。在也不担心上下文了。最主要的是，解放了本地模型的上下文焦虑。v4召回准确度又很无解。7个小时任务跑下来不到1毛钱。。

出个帖子吧，期待~

非常详细，感谢感谢！！！ 可以抄作业了

@CHIA-AN-YANG 分享一下详细的过程呀

@艷陽天 gpu的，不是cpu的，cpu我的温度基本就在30-40

我的满载是这样，没负载就在30°左右

@terry 可以有，太多小伙伴是因为特哥的引路，入手的

@Tide 一切折腾，折腾才有意思

@艷陽天 我一直是用hermes调用deepseek v4 flash用的，性价比极高，相对试错成本来说，容忍度可太高了

@applejuice 是的，后来问了ai也是这么答复的，hermes的提示词过大

刚刚爬楼，看到williamlouis给出的测试本地模型的5个题目，试了下，5个题目都答对了，但是时间有点长，1分13秒。

先交代下背景，本人本职搬砖（物理意义上的）的攻城狮，纯小白，没有编程经验，不懂代码，好折腾，多年来有折腾nas，折腾docker一类，对硬件有一点点了解。然后同时关注的数码博主比较多，慢慢有被被动的灌输到ai的东西，然后开始用在线的ai，觉得很好玩。所以，从openclaw到hermes都有在尝试，在macmini上用deepseek的api帮我整理一些工作上的资料，处理下本地的影音文件等等。也经常在油管上看一些up主的折腾视频，一个月前偶然推给我特哥的频道，看了一期，果断关注，觉得老哥讲的纯纯干货，尤其很多关于硬件选择的，小白的我来说，很有意思。

因为早些年折腾nas，手里有闲置的主板/cpu/内存/电源/风冷/ssd，就差个显卡，就可以撺一台机器了。心痒难耐，一直在看特哥关于硬件的视频，也自己ai问各种显卡的对比，直到社区建立起来，看到各位大神们的分享的帖子。加之特哥在视频里说的，先折腾起来，先从0到1，遂促使我下定决心折腾折腾。随后京东入手7900xtx蓝宝石丐版，闲鱼淘了个机箱，电源也换了，机器撺起来到安装系统折腾环境一周左右的时间吧。

刚开始都是手动问deepseek 然后复制黏贴到终端里反复试错。到大前天突然想到，我可以让hermes ssh到机器上帮我折腾调试。目前，本地api接入hermes，日常对话是没问题，其他类型的任务，没有测试，基于到目前为止的经验，先交个作业。

以下都是hermes根据折腾的记录，整理出来的，请大佬们指导。

---

硬件环境

项目	配置
GPU	AMD Radeon RX 7900 XTX 24GB (Navi 31, gfx1100)
内存	三星 32g*4 DDR4
CPU	Intel Xeon W-1290P @ 3.70GHz (20核)
主板	超微X12SCA-F
SSD	三星 2t * 2
系统	Ubuntu 22.04 (headless 推理服务器)		ROCm	7.2.2

用途

主要是结合hermes折腾玩，同时希望能学习一点点相关的技能和知识：

• Agent 任务执行（工具调用、文件操作）
• 日常对话

模型

• Qwen3.6-27B
• 测试了两个量化版本：
  • Qwen3.6-27B-UD-Q4_K_XL-mtp.gguf（17 GB）
  • Qwen3.6-27B-IQ4_XS-mtp.gguf（15 GB）

推理框架

llama.cpp ROCm (HIP) 构建，从源码编译。

调优过程

初始状态

llama-server \
  -m Qwen3.6-27B-UD-Q4_K_XL-mtp.gguf \
  -c 32768 \
  --spec-type draft-mtp --spec-draft-n-max 2 \
  --chat-template-file chatml.jinja

• VRAM: 22.4/24 GB (几乎爆满)
• 上下文: 32K
• TG: ~55 t/s
• MTP 接受率: 95%
• 问题：上下文太小，Hermes Agent 的系统提示词就有 ~70K tokens，根本放不下

第一步：换 IQ4_XS + 优化 KV Cache

参考坛友经验，做了两个关键改动：

1. 换 IQ4_XS 量化（15 GB vs 17 GB，省 2 GB）
2. KV Cache 从默认 f16 降到 q4_0（--cache-type-k q4_0 --cache-type-v q4_0）

效果对比（Hermes 实际使用场景）：

测试项	32K UD-Q4_K_XL (f16 KV)	128K IQ4_XS (q4_0 KV)
VRAM	22.4 GB（爆满）	17.6 GB（余 6.4 GB）
上下文	32K	128K

第二步：解决 Thinking 标签问题

--reasoning off 参数可以禁止模型输出 <think> 标签。

第三步：MTP 的取舍

IQ4_XS 量化下 MTP 表现不佳：

• MTP 接受率仅 ~34%（UD-Q4_K_XL 时 95%）
• TG 速度反而从无 MTP 的 45 t/s 降到 28 t/s
• 结论：IQ4_XS + MTP 不如无 MTP 快

最终结论：无 MTP 更优

第四步：Prompt Cache 验证

实测 prompt caching 完美工作：

• 首次请求（18K prompt 预填）：21 秒
• 后续请求（缓存命中 99.9%）：< 1 秒

最终配置

llama-server \
  -m Qwen3.6-27B-IQ4_XS-mtp.gguf \
  --host 0.0.0.0 --port 8080 \
  -ngl 999 -fa 1 \
  -c 131072 \
  --cache-type-k q4_0 --cache-type-v q4_0 \
  --reasoning off \
  --cont-batching --cache-prompt

最终性能

指标	数值
VRAM 占用	17.6 / 24 GB
Context	128K
TG 速度	45 t/s
Prefill 速度（小 prompt）	160 t/s
Prefill 速度（70K Hermes 系统提示词）	555 t/s
冷启动（首次请求）	~2 分钟（Hermes 70K 系统提示词预填）
热请求（cache 命中后）	< 1 秒
输出质量	干净，无 thinking 标签

遗留问题

1. 冷启动太慢：Hermes Agent 有 ~70K tokens 的系统提示词，首次请求需要约 2 分钟预填。能否加速首次 prefill？
2. IQ4_XS 下 MTP 接受率低（34% vs UD-Q4_K_XL 的 95%），是 IQ4_XS 量化的精度的原因吗？
3. ROCm vs Vulkan：坛友发帖 Vulkan + MTP 能到 67 t/s，我只有 45 t/s（ROCm + 无 MTP）。是否应该切 Vulkan？ROCm 的 MTP 有 VRAM 泄漏问题有解吗？
4. Hermes 系统提示词太大：如果能把 70K 压下去，冷启动能快很多。有没有好的减负策略？
5. 256K 上下文：IQ4_XS 下 256K 也能跑（VRAM 约 22.9 GB），但余量太少。有没有推荐的内存/显存优化手段？

补充更新设备图片和最新测试的结果

1. 设备图片 （机箱是闲鱼300元淘的海盗船airflow7000D，为以后上双卡准备）
   
   

2.不同模型的测试结果

新思路啊，mark一下