先交代下背景，本人本职搬砖（物理意义上的）的攻城狮，纯小白，没有编程经验，不懂代码，好折腾，多年来有折腾nas，折腾docker一类，对硬件有一点点了解。然后同时关注的数码博主比较多，慢慢有被被动的灌输到ai的东西，然后开始用在线的ai，觉得很好玩。所以，从openclaw到hermes都有在尝试，在macmini上用deepseek的api帮我整理一些工作上的资料，处理下本地的影音文件等等。也经常在油管上看一些up主的折腾视频，一个月前偶然推给我特哥的频道，看了一期，果断关注，觉得老哥讲的纯纯干货，尤其很多关于硬件选择的，小白的我来说，很有意思。
因为早些年折腾nas，手里有闲置的主板/cpu/内存/电源/风冷/ssd，就差个显卡，就可以撺一台机器了。心痒难耐，一直在看特哥关于硬件的视频，也自己ai问各种显卡的对比，直到社区建立起来，看到各位大神们的分享的帖子。加之特哥在视频里说的，先折腾起来，先从0到1，遂促使我下定决心折腾折腾。随后京东入手7900xtx蓝宝石丐版，闲鱼淘了个机箱，电源也换了，机器撺起来到安装系统折腾环境一周左右的时间吧。
刚开始都是手动问deepseek 然后复制黏贴到终端里反复试错。到大前天突然想到，我可以让hermes ssh到机器上帮我折腾调试。目前，本地api接入hermes，日常对话是没问题，其他类型的任务，没有测试，基于到目前为止的经验，先交个作业。
以下都是hermes根据折腾的记录，整理出来的，请大佬们指导。
硬件环境
| 项目 | 配置 | |||
|---|---|---|---|---|
| GPU | AMD Radeon RX 7900 XTX 24GB (Navi 31, gfx1100) | |||
| 内存 | 三星 32g*4 DDR4 | |||
| CPU | Intel Xeon W-1290P @ 3.70GHz (20核) | |||
| 主板 | 超微X12SCA-F | |||
| SSD | 三星 2t * 2 | |||
| 系统 | Ubuntu 22.04 (headless 推理服务器) | ROCm | 7.2.2 | |
用途
主要是结合hermes折腾玩，同时希望能学习一点点相关的技能和知识：
- Agent 任务执行（工具调用、文件操作）
- 日常对话
模型
- Qwen3.6-27B
- 测试了两个量化版本：
Qwen3.6-27B-UD-Q4_K_XL-mtp.gguf（17 GB）Qwen3.6-27B-IQ4_XS-mtp.gguf（15 GB）
推理框架
llama.cpp ROCm (HIP) 构建，从源码编译。
调优过程
初始状态
llama-server \
-m Qwen3.6-27B-UD-Q4_K_XL-mtp.gguf \
-c 32768 \
--spec-type draft-mtp --spec-draft-n-max 2 \
--chat-template-file chatml.jinja
- VRAM: 22.4/24 GB (几乎爆满)
- 上下文: 32K
- TG: ~55 t/s
- MTP 接受率: 95%
- 问题：上下文太小，Hermes Agent 的系统提示词就有 ~70K tokens，根本放不下
第一步：换 IQ4_XS + 优化 KV Cache
参考坛友经验，做了两个关键改动：
- 换 IQ4_XS 量化（15 GB vs 17 GB，省 2 GB）
- KV Cache 从默认 f16 降到 q4_0（
--cache-type-k q4_0 --cache-type-v q4_0）
效果对比（Hermes 实际使用场景）：
| 测试项 | 32K UD-Q4_K_XL (f16 KV) | 128K IQ4_XS (q4_0 KV) |
|---|---|---|
| VRAM | 22.4 GB（爆满） | 17.6 GB（余 6.4 GB） |
| 上下文 | 32K  |
128K  |
第二步：解决 Thinking 标签问题
--reasoning off 参数可以禁止模型输出 <think> 标签。
第三步：MTP 的取舍
IQ4_XS 量化下 MTP 表现不佳：
- MTP 接受率仅 ~34%（UD-Q4_K_XL 时 95%）
- TG 速度反而从无 MTP 的 45 t/s 降到 28 t/s
- 结论：IQ4_XS + MTP 不如无 MTP 快
最终结论：无 MTP 更优
第四步：Prompt Cache 验证
实测 prompt caching 完美工作：
- 首次请求（18K prompt 预填）：21 秒
- 后续请求（缓存命中 99.9%）：< 1 秒
最终配置
llama-server \
-m Qwen3.6-27B-IQ4_XS-mtp.gguf \
--host 0.0.0.0 --port 8080 \
-ngl 999 -fa 1 \
-c 131072 \
--cache-type-k q4_0 --cache-type-v q4_0 \
--reasoning off \
--cont-batching --cache-prompt
最终性能
| 指标 | 数值 |
|---|---|
| VRAM 占用 | 17.6 / 24 GB |
| Context | 128K |
| TG 速度 | 45 t/s |
| Prefill 速度（小 prompt） | 160 t/s |
| Prefill 速度（70K Hermes 系统提示词） | 555 t/s |
| 冷启动（首次请求） | ~2 分钟（Hermes 70K 系统提示词预填） |
| 热请求（cache 命中后） | < 1 秒 |
| 输出质量 | 干净，无 thinking 标签 |
遗留问题
- 冷启动太慢：Hermes Agent 有 ~70K tokens 的系统提示词，首次请求需要约 2 分钟预填。能否加速首次 prefill？
- IQ4_XS 下 MTP 接受率低（34% vs UD-Q4_K_XL 的 95%），是 IQ4_XS 量化的精度的原因吗？
- ROCm vs Vulkan：坛友发帖 Vulkan + MTP 能到 67 t/s，我只有 45 t/s（ROCm + 无 MTP）。是否应该切 Vulkan？ROCm 的 MTP 有 VRAM 泄漏问题有解吗？
- Hermes 系统提示词太大：如果能把 70K 压下去，冷启动能快很多。有没有好的减负策略？
- 256K 上下文：IQ4_XS 下 256K 也能跑（VRAM 约 22.9 GB），但余量太少。有没有推荐的内存/显存优化手段？
补充更新设备图片和最新测试的结果
- 设备图片 （机箱是闲鱼300元淘的海盗船airflow7000D，为以后上双卡准备）
2.不同模型的测试结果
我的满载是这样，没负载就在30°左右