-
@terry 哈哈哈，没事没事，也许是我这个台湾人在词语表达和理解上跟你们有点差距，我也在思考为什么会有差距？明明都是一样github上下载的。也许差距瓶颈在其他硬体，例如主机版、SSD，我的是5-6年前的SATA 256GB老古董了，这应该也是因素之一吧，老特别再推我坑啦，没钱啦
-
我接了codex cli進ubuntu ,讓他檢查hermes提示詞跟skill tools載入過大優化,優化完,目前玩得分起,我在查詢幣價分析幾乎秒等級的回應,然後裝了一張3060/12g 跑一個小模型9b 設定壓縮讓他跑,速度挺快的,給大家參考
-
，系统 取消固定了此主题
-
我接了codex cli進ubuntu ,讓他檢查hermes提示詞跟skill tools載入過大優化,優化完,目前玩得分起,我在查詢幣價分析幾乎秒等級的回應,然後裝了一張3060/12g 跑一個小模型9b 設定壓縮讓他跑,速度挺快的,給大家參考
-
@CHIA-AN-YANG 分享一下详细的过程呀
@kylin_Zaki 來了 我把文回到主文章
-
看了你的7900xtx，如果纯跑27B，我还是不入坑了。保持两张16G的羊垃圾，27B-IQ4_NL(理论上比Q4_K_M小一些，智力稳一些)， q8_0的kv-cache 256k可以跑，保险一些224k 240k 加mtp一次吐出8k左右能稳定40-50 t/s。 楼主的单卡24可以考虑折腾dflash，据说速度最高可以10倍。
-
看了你的7900xtx，如果纯跑27B，我还是不入坑了。保持两张16G的羊垃圾，27B-IQ4_NL(理论上比Q4_K_M小一些，智力稳一些)， q8_0的kv-cache 256k可以跑，保险一些224k 240k 加mtp一次吐出8k左右能稳定40-50 t/s。 楼主的单卡24可以考虑折腾dflash，据说速度最高可以10倍。
Q4_K_M
目前是27B Q4_K_M MTP， 可以到50t/s左右
-
，
T terry 固定了此主题
-
Q4_K_M
目前是27B Q4_K_M MTP， 可以到50t/s左右
@kylin_Zaki 目前是27B Q4_K_M MTP， 可以到50t/s左右
这个版本处理问题起来速度怎么样？我在网页版能用，放到hermes慢的要死，就不想玩了。
-
，系统 取消固定了此主题
-
先交代下背景，本人本职搬砖（物理意义上的）的攻城狮，纯小白，没有编程经验，不懂代码，好折腾，多年来有折腾nas，折腾docker一类，对硬件有一点点了解。然后同时关注的数码博主比较多，慢慢有被被动的灌输到ai的东西，然后开始用在线的ai，觉得很好玩。所以，从openclaw到hermes都有在尝试，在macmini上用deepseek的api帮我整理一些工作上的资料，处理下本地的影音文件等等。也经常在油管上看一些up主的折腾视频，一个月前偶然推给我特哥的频道，看了一期，果断关注，觉得老哥讲的纯纯干货，尤其很多关于硬件选择的，小白的我来说，很有意思。
因为早些年折腾nas，手里有闲置的主板/cpu/内存/电源/风冷/ssd，就差个显卡，就可以撺一台机器了。心痒难耐，一直在看特哥关于硬件的视频，也自己ai问各种显卡的对比，直到社区建立起来，看到各位大神们的分享的帖子。加之特哥在视频里说的，先折腾起来，先从0到1，遂促使我下定决心折腾折腾。随后京东入手7900xtx蓝宝石丐版，闲鱼淘了个机箱，电源也换了，机器撺起来到安装系统折腾环境一周左右的时间吧。
刚开始都是手动问deepseek 然后复制黏贴到终端里反复试错。到大前天突然想到，我可以让hermes ssh到机器上帮我折腾调试。目前，本地api接入hermes，日常对话是没问题，其他类型的任务，没有测试，基于到目前为止的经验，先交个作业。
以下都是hermes根据折腾的记录，整理出来的，请大佬们指导。
硬件环境
项目 配置 GPU AMD Radeon RX 7900 XTX 24GB (Navi 31, gfx1100) 内存 三星 32g*4 DDR4 CPU Intel Xeon W-1290P @ 3.70GHz (20核) 主板 超微X12SCA-F SSD 三星 2t * 2 系统 Ubuntu 22.04 (headless 推理服务器) ROCm 7.2.2 用途
主要是结合hermes折腾玩，同时希望能学习一点点相关的技能和知识：
- Agent 任务执行（工具调用、文件操作）
- 日常对话
模型
- Qwen3.6-27B
- 测试了两个量化版本：
Qwen3.6-27B-UD-Q4_K_XL-mtp.gguf（17 GB）Qwen3.6-27B-IQ4_XS-mtp.gguf（15 GB）
推理框架
llama.cpp ROCm (HIP) 构建，从源码编译。
调优过程
初始状态
llama-server \ -m Qwen3.6-27B-UD-Q4_K_XL-mtp.gguf \ -c 32768 \ --spec-type draft-mtp --spec-draft-n-max 2 \ --chat-template-file chatml.jinja- VRAM: 22.4/24 GB (几乎爆满)
- 上下文: 32K
- TG: ~55 t/s
- MTP 接受率: 95%
- 问题：上下文太小，Hermes Agent 的系统提示词就有 ~70K tokens，根本放不下
第一步：换 IQ4_XS + 优化 KV Cache
参考坛友经验，做了两个关键改动：
- 换 IQ4_XS 量化（15 GB vs 17 GB，省 2 GB）
- KV Cache 从默认 f16 降到 q4_0（
--cache-type-k q4_0 --cache-type-v q4_0）
效果对比（Hermes 实际使用场景）：
测试项 32K UD-Q4_K_XL (f16 KV) 128K IQ4_XS (q4_0 KV) VRAM 22.4 GB（爆满） 17.6 GB（余 6.4 GB） 上下文 32K 
128K 
第二步：解决 Thinking 标签问题
--reasoning off参数可以禁止模型输出<think>标签。第三步：MTP 的取舍
IQ4_XS 量化下 MTP 表现不佳：
- MTP 接受率仅 ~34%（UD-Q4_K_XL 时 95%）
- TG 速度反而从无 MTP 的 45 t/s 降到 28 t/s
- 结论：IQ4_XS + MTP 不如无 MTP 快
最终结论：无 MTP 更优
第四步：Prompt Cache 验证
实测 prompt caching 完美工作：
- 首次请求（18K prompt 预填）：21 秒
- 后续请求（缓存命中 99.9%）：< 1 秒
最终配置
llama-server \ -m Qwen3.6-27B-IQ4_XS-mtp.gguf \ --host 0.0.0.0 --port 8080 \ -ngl 999 -fa 1 \ -c 131072 \ --cache-type-k q4_0 --cache-type-v q4_0 \ --reasoning off \ --cont-batching --cache-prompt最终性能
指标 数值 VRAM 占用 17.6 / 24 GB Context 128K TG 速度 45 t/s Prefill 速度（小 prompt） 160 t/s Prefill 速度（70K Hermes 系统提示词） 555 t/s 冷启动（首次请求） ~2 分钟（Hermes 70K 系统提示词预填） 热请求（cache 命中后） < 1 秒 输出质量 干净，无 thinking 标签 遗留问题
- 冷启动太慢：Hermes Agent 有 ~70K tokens 的系统提示词，首次请求需要约 2 分钟预填。能否加速首次 prefill？
- IQ4_XS 下 MTP 接受率低（34% vs UD-Q4_K_XL 的 95%），是 IQ4_XS 量化的精度的原因吗？
- ROCm vs Vulkan：坛友发帖 Vulkan + MTP 能到 67 t/s，我只有 45 t/s（ROCm + 无 MTP）。是否应该切 Vulkan？ROCm 的 MTP 有 VRAM 泄漏问题有解吗？
- Hermes 系统提示词太大：如果能把 70K 压下去，冷启动能快很多。有没有好的减负策略？
- 256K 上下文：IQ4_XS 下 256K 也能跑（VRAM 约 22.9 GB），但余量太少。有没有推荐的内存/显存优化手段？
补充更新设备图片和最新测试的结果
- 设备图片 （机箱是闲鱼300元淘的海盗船airflow7000D，为以后上双卡准备）
2.不同模型的测试结果
@kylin_Zaki 我用4090跑Qwen3.6-27B-UD-Q4_K_XL-mtp 参数 --ctx-size 120000 --cache-type-k q8_0 --cache-type-v q8_0 可以运行，显存用大概23.3GB。不过我没有长时间测试，也许显存会最后不够
