R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！

[wml-ai]

周六下午R9700到货，开始组装机器，快10年没装机了，偏这次又买了小机箱（有点后悔），结果弄到夜里快12点才装好，腰酸背痛，装完点亮了，就睡了。转天起来开始装Ubuntu 24.04.4，系统竟然也装了一上午，开始时安装程序反复退出，后来刷了最新的BIOS，没想到重启之后竟然直接进系统了。然后就是更新系统，安装ROCM等等一系列。然后安装Hermes，使用deepseek-v4-flash，在Hermes辅助下安装llama.cpp。特意告诉Hermes要浏览抡锤者论坛中关于AMD显卡的帖子，特别要参考
https://lcz.me/topic/353/7900-xtx-qwen3.6-27b-ubuntu-rocm-vulkan-mtp-64-128-256k-全部實測整理
和
https://lcz.me/topic/100/7900xtx-llama.cpp-qwen3.6-27b-turboquant-mtp-测试结果分享/56
这两个帖子的内容。在此感谢 CHIA AN YANG 和 David Zhang 两位大神，也特别感谢斑竹建立了这个论坛让我学到了很多知识。
最后选定Qwen3.6-27B-Q4_K_M.gguf，使用Hermes自动配置，一次成功！

   硬件配置：
   主板：MaxSun-Terminator-B850M-PRO
   CPU：AMD Ryzen 7 9700X
   内存：金邦DDR5 5600 64GB
   SSD:  宏基GM7000 1TB+金邦 2TB
   显卡：AMD Radeon AI PRO R9700
   电源：Thermaltake SFX-850
   机箱：机械大师C26

   运行参数：/data/ai/apps/llama.cpp/build/bin/llama-server \
         -m /data/ai/models/llm/Qwen3.6-27B-Q4_K_M.gguf \
         -ngl 99 \
         -fa 1 \
         -c 131072 \
         --cache-type-k q4_0 \
         --cache-type-v q4_0 \
         --spec-type draft-mtp \
         --spec-draft-n-max 3 \
         -ub 256 \
         -np 1 \
         --temp 0.7 \
         --top-k 20 \

使用起来感觉和线上的deepseek-v4-flash没有太大区别，速度差不多。但是运行起来的风扇噪音真是太大了！但是比起电水壶烧开水还是差远了。我把电脑放脚下，身后就是电水壶，水烧起来的声音完全能盖住显卡风扇的声音，满载时也能。但是机箱散热不好，测试时显卡温度偏高。

调整了一下机箱风扇的位置，效果并不明显。小机箱空间太受限了！装机时就很费劲！

为了安全，把功耗限制到280W。

性能损耗约4%。

后来感觉温度还是偏高，风扇太吵，又限制到270W。

这是现在模型刚加载时的温度：

这是模型运行时的温度：

心得：
1、AMD显卡在Linux下的生态还是可以的，至少我这个没有什么Linux使用经验的人，在AI和Hermes的帮助下，也就是花了1天时间就把大模型跑起来了，所以对AMD显卡有顾虑的人我觉得可以放心一些了。
2、涡轮卡的噪音确实是很大，但是比电水壶的声音还是差一些，隔一堵墙，关上门，满载时的噪音也是听不见的。算是给对噪音敏感的人一些真实感受吧。
3、算是个经验教训——机箱尽量选大一些，利于散热通风，长期运行也更有安全保障，装机时也能顺利一些。

这些是我的一些体会，没有什么经验贡献，再次感谢斑竹和论坛里的各位大神的无私分享。

[densha]

請問您會讓它24小時運轉嗎？畢竟是當agent用。

[Xiaote]

@densha 24小时跑agent是可行的，R9700功耗控制比N卡好不少，几点参考：

1. 功耗方面：R9700满载大概200-250W（跑推理时），待机很低（<30W），长期跑比3090/4090省电得多。电费方面一天大概2-3度电。

2. 散热建议：建议调一下风扇曲线，让温度控制在70°C以下。R9700的VRAM温度比核心高10-15°C正常。如果不放心，可以把功耗限制在80%（amdgpu.pp_power_profile 或者用 corectrl），性能损失不到5%但温度能降10°C+。

3. 稳定性：Linux下R9700跑 llama.cpp/Vulkan 后端很稳，连续跑几天没问题的。建议加个cron脚本每天凌晨重启一次Hermes进程清理context，避免长期运行的内存泄漏。

4. 如果确实是做agent用的，推荐用screen/tmux托管，加个watchdog脚本：每30分钟检查一次Hermes进程是否还活着，挂了自动重启。这样万一崩了也能自我恢复。

[williamlouis]

@wml-ai 电水壶的水一定要勤加。
感谢分享。32G还是很能打的。

[wml-ai]

@williamlouis 哈哈！好的！

[wml-ai]

@terry 斑竹深夜还在维护论坛，注意身体啊！

[terry]

@wml-ai 睡到自然醒，困了就睡，今天顺便自己理了个发。

[AGI]

@terry 说:

@wml-ai 睡到自然醒，困了就睡，今天顺便自己理了个发。

推子用的几毫米的？我从口罩到现在一直在家推子自己推

[terry]

@AGI 不知道，京东京造，75块钱买的，买回来自己选择差不多的长度，不知道具体数字，然后短一点，自己推掉就行。我一般就是圆寸，干的很短。已经很久没去过理发店 了。

[wml-ai]

@densha 估计不会一直运行大模型，感觉线上模型能力更强一些，比如deepseek-v4-flash。

[Eric Xiao]

MTP最大猜3个token，你现在tokens速度多块

[wml-ai]

今天下午又编译了一次 Vulkan 版本的 llama.cpp，做了简单的测试，和ROCm版对比，各有千秋吧，相差不大。但是意外发现，运行Vulkan版的本地模型比ROCm版的功耗要低。

Vulkan版测试结果：

ROCm版的测试结果：

加载ROCm版模型时的功耗（未执行任务）：

加载Vulkan版模型时的功耗（未执行任务）：

执行任务时，Vulkan版也比ROCm版的温度、功耗要低，风扇转速也稍低一些。更重要的是，Vulkan版出结果更快，GPU运行一会儿功耗就下来了，而ROCm版的会运行很久，风扇狂转。

[sospda]

上MTP版本， Q4KM ，直接上50t/s ， 提速明显

[wml-ai]

@sospda 也测试了使用MTP的情况（简单测试没有使用长文档输入测试），MTP确实有明显提升，而且依然是Vulkan比ROCm快，不过没有到50t/s，但是日常使用完全够了，体验不差。

现在日常使用就是Vulkan+MTP，功耗还低，风扇噪音较小，比较满意了。

[linghu007]

兄弟，你这套配下来多少钱啊？
图是我准备配的配置。主要是考虑DDR4升级便宜些。CUP缓存大256M。电源大是因为将来顺便升级双显卡。

[williamlouis]

@linghu007 显卡涨价了。

[linghu007]

@williamlouis 显卡日常价格就是10900，现在618奸商搞的。但我看了下CUP和内存反而降了，不过我看的是二手。显卡才是新的。

[williamlouis]

我们只能接受。生产力需要就入手。没项目就等等。

[wml-ai]

@linghu007 总体价格和你的差不多，但是性价比没你的高。