<![CDATA[R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！]]>周六下午R9700到货，开始组装机器，快10年没装机了，偏这次又买了小机箱（有点后悔），结果弄到夜里快12点才装好，腰酸背痛，装完点亮了，就睡了。转天起来开始装Ubuntu 24.04.4，系统竟然也装了一上午，开始时安装程序反复退出，后来刷了最新的BIOS，没想到重启之后竟然直接进系统了。然后就是更新系统，安装ROCM等等一系列。然后安装Hermes，使用deepseek-v4-flash，在Hermes辅助下安装llama.cpp。特意告诉Hermes要浏览抡锤者论坛中关于AMD显卡的帖子，特别要参考
https://lcz.me/topic/353/7900-xtx-qwen3.6-27b-ubuntu-rocm-vulkan-mtp-64-128-256k-全部實測整理
和
https://lcz.me/topic/100/7900xtx-llama.cpp-qwen3.6-27b-turboquant-mtp-测试结果分享/56
这两个帖子的内容。在此感谢 CHIA AN YANG 和 David Zhang 两位大神，也特别感谢斑竹建立了这个论坛让我学到了很多知识。👍 👏
最后选定Qwen3.6-27B-Q4_K_M.gguf，使用Hermes自动配置，一次成功！

   硬件配置：
   主板：MaxSun-Terminator-B850M-PRO
   CPU：AMD Ryzen 7 9700X
   内存：金邦DDR5 5600 64GB
   SSD:  宏基GM7000 1TB+金邦 2TB
   显卡：AMD Radeon AI PRO R9700
   电源：Thermaltake SFX-850
   机箱：机械大师C26

   运行参数：/data/ai/apps/llama.cpp/build/bin/llama-server \
         -m /data/ai/models/llm/Qwen3.6-27B-Q4_K_M.gguf \
         -ngl 99 \
         -fa 1 \
         -c 131072 \
         --cache-type-k q4_0 \
         --cache-type-v q4_0 \
         --spec-type draft-mtp \
         --spec-draft-n-max 3 \
         -ub 256 \
         -np 1 \
         --temp 0.7 \
         --top-k 20 \

截屏2026-05-31 下午10.30.09.png

使用起来感觉和线上的deepseek-v4-flash没有太大区别，速度差不多。但是运行起来的风扇噪音真是太大了！但是比起电水壶烧开水还是差远了。我把电脑放脚下，身后就是电水壶，水烧起来的声音完全能盖住显卡风扇的声音，满载时也能。但是机箱散热不好，测试时显卡温度偏高。

截屏2026-05-31 下午3.15.42.png

调整了一下机箱风扇的位置，效果并不明显。小机箱空间太受限了！装机时就很费劲！

截屏2026-05-31 下午4.56.33.png

为了安全，把功耗限制到280W。

截屏2026-05-31 下午5.30.28.png

性能损耗约4%。

截屏2026-05-31 下午5.35.27.png

后来感觉温度还是偏高，风扇太吵，又限制到270W。

截屏2026-06-01 下午8.28.44.png

这是现在模型刚加载时的温度：

截屏2026-05-31 下午10.28.52.png

这是模型运行时的温度：

截屏2026-05-31 下午12.24.21.png

心得：
1、AMD显卡在Linux下的生态还是可以的，至少我这个没有什么Linux使用经验的人，在AI和Hermes的帮助下，也就是花了1天时间就把大模型跑起来了，所以对AMD显卡有顾虑的人我觉得可以放心一些了。
2、涡轮卡的噪音确实是很大，但是比电水壶的声音还是差一些，隔一堵墙，关上门，满载时的噪音也是听不见的。算是给对噪音敏感的人一些真实感受吧。
3、算是个经验教训——机箱尽量选大一些，利于散热通风，长期运行也更有安全保障，装机时也能顺利一些。

这些是我的一些体会，没有什么经验贡献，再次感谢斑竹和论坛里的各位大神的无私分享。

]]>https://lcz.me/topic/383/r9700到货-ai-hermes部署llama.cpp-qwen3.6-27b-q4_k_m一次成功RSS for NodeThu, 11 Jun 2026 18:45:46 GMTMon, 01 Jun 2026 15:43:18 GMT60<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Fri, 05 Jun 2026 07:40:08 GMT]]>@linghu007 总体价格和你的差不多，但是性价比没你的高。

]]>https://lcz.me/post/5171https://lcz.me/post/5171Fri, 05 Jun 2026 07:40:08 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Fri, 05 Jun 2026 02:53:59 GMT]]>我们只能接受。生产力需要就入手。没项目就等等。

]]>https://lcz.me/post/5084https://lcz.me/post/5084Fri, 05 Jun 2026 02:53:59 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Fri, 05 Jun 2026 02:52:50 GMT]]>@williamlouis 显卡日常价格就是10900，现在618奸商搞的。但我看了下CUP和内存反而降了，不过我看的是二手。显卡才是新的。

]]>https://lcz.me/post/5083https://lcz.me/post/5083Fri, 05 Jun 2026 02:52:50 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Fri, 05 Jun 2026 02:42:22 GMT]]>@linghu007 显卡涨价了。

]]>https://lcz.me/post/5080https://lcz.me/post/5080Fri, 05 Jun 2026 02:42:22 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Fri, 05 Jun 2026 02:35:54 GMT]]>微信图片_20260605103247_234_2.png
兄弟，你这套配下来多少钱啊？
图是我准备配的配置。主要是考虑DDR4升级便宜些。CUP缓存大256M。电源大是因为将来顺便升级双显卡。

]]>https://lcz.me/post/5077https://lcz.me/post/5077Fri, 05 Jun 2026 02:35:54 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Fri, 05 Jun 2026 01:52:15 GMT]]>@sospda 也测试了使用MTP的情况（简单测试没有使用长文档输入测试），MTP确实有明显提升，而且依然是Vulkan比ROCm快，不过没有到50t/s，但是日常使用完全够了，体验不差。

截屏2026-06-05 上午9.47.46.png

现在日常使用就是Vulkan+MTP，功耗还低，风扇噪音较小，比较满意了。

]]>https://lcz.me/post/5065https://lcz.me/post/5065Fri, 05 Jun 2026 01:52:15 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Thu, 04 Jun 2026 03:56:52 GMT]]>上MTP版本， Q4KM ，直接上50t/s ， 提速明显

]]>https://lcz.me/post/4938https://lcz.me/post/4938Thu, 04 Jun 2026 03:56:52 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Wed, 03 Jun 2026 14:17:50 GMT]]>今天下午又编译了一次 Vulkan 版本的 llama.cpp，做了简单的测试，和ROCm版对比，各有千秋吧，相差不大。但是意外发现，运行Vulkan版的本地模型比ROCm版的功耗要低。

Vulkan版测试结果：
截屏2026-06-03 下午4.18.04.png

ROCm版的测试结果：
截屏2026-06-03 下午4.18.42.png

加载ROCm版模型时的功耗（未执行任务）：
截屏2026-06-03 下午6.12.25.png

加载Vulkan版模型时的功耗（未执行任务）：
截屏2026-06-03 下午6.14.22.png

执行任务时，Vulkan版也比ROCm版的温度、功耗要低，风扇转速也稍低一些。更重要的是，Vulkan版出结果更快，GPU运行一会儿功耗就下来了，而ROCm版的会运行很久，风扇狂转。

]]>https://lcz.me/post/4855https://lcz.me/post/4855Wed, 03 Jun 2026 14:17:50 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Wed, 03 Jun 2026 03:03:23 GMT]]>MTP最大猜3个token，你现在tokens速度多块

]]>https://lcz.me/post/4732https://lcz.me/post/4732Wed, 03 Jun 2026 03:03:23 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Tue, 02 Jun 2026 12:54:03 GMT]]>@densha 估计不会一直运行大模型，感觉线上模型能力更强一些，比如deepseek-v4-flash。

]]>https://lcz.me/post/4661https://lcz.me/post/4661Tue, 02 Jun 2026 12:54:03 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Tue, 02 Jun 2026 04:56:30 GMT]]>@AGI 不知道，京东京造，75块钱买的，买回来自己选择差不多的长度，不知道具体数字，然后短一点，自己推掉就行。我一般就是圆寸，干的很短。已经很久没去过理发店 了。

]]>https://lcz.me/post/4632https://lcz.me/post/4632Tue, 02 Jun 2026 04:56:30 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Tue, 02 Jun 2026 04:51:21 GMT]]>

@terry 说:

@wml-ai 睡到自然醒，困了就睡，今天顺便自己理了个发。

推子用的几毫米的？我从口罩到现在一直在家推子自己推

]]>https://lcz.me/post/4628https://lcz.me/post/4628Tue, 02 Jun 2026 04:51:21 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Tue, 02 Jun 2026 03:43:11 GMT]]>@wml-ai 睡到自然醒，困了就睡，今天顺便自己理了个发。

]]>https://lcz.me/post/4625https://lcz.me/post/4625Tue, 02 Jun 2026 03:43:11 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Tue, 02 Jun 2026 03:19:40 GMT]]>@terry 斑竹深夜还在维护论坛，注意身体啊！

]]>https://lcz.me/post/4624https://lcz.me/post/4624Tue, 02 Jun 2026 03:19:40 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Tue, 02 Jun 2026 00:37:30 GMT]]>@williamlouis 哈哈！好的！

]]>https://lcz.me/post/4617https://lcz.me/post/4617Tue, 02 Jun 2026 00:37:30 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Mon, 01 Jun 2026 19:51:48 GMT]]>@wml-ai 电水壶的水一定要勤加。
感谢分享。32G还是很能打的。

]]>https://lcz.me/post/4600https://lcz.me/post/4600Mon, 01 Jun 2026 19:51:48 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Mon, 01 Jun 2026 16:11:47 GMT]]>@densha 24小时跑agent是可行的，R9700功耗控制比N卡好不少，几点参考：

  1. 功耗方面：R9700满载大概200-250W（跑推理时），待机很低（<30W），长期跑比3090/4090省电得多。电费方面一天大概2-3度电。

  2. 散热建议：建议调一下风扇曲线，让温度控制在70°C以下。R9700的VRAM温度比核心高10-15°C正常。如果不放心，可以把功耗限制在80%（amdgpu.pp_power_profile 或者用 corectrl），性能损失不到5%但温度能降10°C+。

  3. 稳定性：Linux下R9700跑 llama.cpp/Vulkan 后端很稳，连续跑几天没问题的。建议加个cron脚本每天凌晨重启一次Hermes进程清理context，避免长期运行的内存泄漏。

  4. 如果确实是做agent用的，推荐用screen/tmux托管，加个watchdog脚本：每30分钟检查一次Hermes进程是否还活着，挂了自动重启。这样万一崩了也能自我恢复。

]]>https://lcz.me/post/4582https://lcz.me/post/4582Mon, 01 Jun 2026 16:11:47 GMT<![CDATA[Reply to R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！ on Mon, 01 Jun 2026 16:06:24 GMT]]>請問您會讓它24小時運轉嗎？畢竟是當agent用。

]]>https://lcz.me/post/4580https://lcz.me/post/4580Mon, 01 Jun 2026 16:06:24 GMT