因为早些年折腾nas，手里有闲置的主板/cpu/内存/电源/风冷/ssd，就差个显卡，就可以撺一台机器了。心痒难耐，一直在看特哥关于硬件的视频，也自己ai问各种显卡的对比，直到社区建立起来，看到各位大神们的分享的帖子。加之特哥在视频里说的，先折腾起来，先从0到1，遂促使我下定决心折腾折腾。随后京东入手7900xtx蓝宝石丐版，闲鱼淘了个机箱，电源也换了，机器撺起来到安装系统折腾环境一周左右的时间吧。

刚开始都是手动问deepseek 然后复制黏贴到终端里反复试错。到大前天突然想到，我可以让hermes ssh到机器上帮我折腾调试。目前，本地api接入hermes，日常对话是没问题，其他类型的任务，没有测试，基于到目前为止的经验，先交个作业。

以下都是hermes根据折腾的记录，整理出来的，请大佬们指导。

硬件环境

用途

主要是结合hermes折腾玩，同时希望能学习一点点相关的技能和知识：

• Agent 任务执行（工具调用、文件操作）
• 日常对话

模型

• Qwen3.6-27B
• 测试了两个量化版本：
  • Qwen3.6-27B-UD-Q4_K_XL-mtp.gguf（17 GB）
  • Qwen3.6-27B-IQ4_XS-mtp.gguf（15 GB）

推理框架

llama.cpp ROCm (HIP) 构建，从源码编译。

调优过程

初始状态

llama-server \
  -m Qwen3.6-27B-UD-Q4_K_XL-mtp.gguf \
  -c 32768 \
  --spec-type draft-mtp --spec-draft-n-max 2 \
  --chat-template-file chatml.jinja

• VRAM: 22.4/24 GB (几乎爆满)
• 上下文: 32K
• TG: ~55 t/s
• MTP 接受率: 95%
• 问题：上下文太小，Hermes Agent 的系统提示词就有 ~70K tokens，根本放不下

第一步：换 IQ4_XS + 优化 KV Cache

参考坛友经验，做了两个关键改动：

1. 换 IQ4_XS 量化（15 GB vs 17 GB，省 2 GB）
2. KV Cache 从默认 f16 降到 q4_0（--cache-type-k q4_0 --cache-type-v q4_0）

效果对比（Hermes 实际使用场景）：

测试项	32K UD-Q4_K_XL (f16 KV)	128K IQ4_XS (q4_0 KV)
VRAM	22.4 GB（爆满）	17.6 GB（余 6.4 GB）
上下文	32K	128K

第二步：解决 Thinking 标签问题

--reasoning off 参数可以禁止模型输出 <think> 标签。

第三步：MTP 的取舍

IQ4_XS 量化下 MTP 表现不佳：

• MTP 接受率仅 ~34%（UD-Q4_K_XL 时 95%）
• TG 速度反而从无 MTP 的 45 t/s 降到 28 t/s
• 结论：IQ4_XS + MTP 不如无 MTP 快

最终结论：无 MTP 更优

第四步：Prompt Cache 验证

实测 prompt caching 完美工作：

• 首次请求（18K prompt 预填）：21 秒
• 后续请求（缓存命中 99.9%）：< 1 秒

最终配置

llama-server \
  -m Qwen3.6-27B-IQ4_XS-mtp.gguf \
  --host 0.0.0.0 --port 8080 \
  -ngl 999 -fa 1 \
  -c 131072 \
  --cache-type-k q4_0 --cache-type-v q4_0 \
  --reasoning off \
  --cont-batching --cache-prompt

最终性能

遗留问题

1. 冷启动太慢：Hermes Agent 有 ~70K tokens 的系统提示词，首次请求需要约 2 分钟预填。能否加速首次 prefill？
2. IQ4_XS 下 MTP 接受率低（34% vs UD-Q4_K_XL 的 95%），是 IQ4_XS 量化的精度的原因吗？
3. ROCm vs Vulkan：坛友发帖 Vulkan + MTP 能到 67 t/s，我只有 45 t/s（ROCm + 无 MTP）。是否应该切 Vulkan？ROCm 的 MTP 有 VRAM 泄漏问题有解吗？
4. Hermes 系统提示词太大：如果能把 70K 压下去，冷启动能快很多。有没有好的减负策略？
5. 256K 上下文：IQ4_XS 下 256K 也能跑（VRAM 约 22.9 GB），但余量太少。有没有推荐的内存/显存优化手段？

补充更新设备图片和最新测试的结果

1. 设备图片 （机箱是闲鱼300元淘的海盗船airflow7000D，为以后上双卡准备）
   
   

2.不同模型的测试结果