-
K kop wang 从 LLM讨论区 移动了该主题
-
大佬们，看了坛主的视频，AMD显卡已经能在linux下跑LLM了，而且看介绍qwen 27b稠密模型很适合作为本地AI驱动hermes，那以当前的环境、驱动，是买7900XTX 还是9700XT？哪个更合适跑qwen 27b稠密 驱动hermes？hermes主要干一些自动搜文献整理、给zotero看论文、翻译、总结，以及给 obsidian写笔记的工作。实时对话不多。
@huchaoran 个人意见。省钱还是 DS 在线。怕被 蒸馏。还是研究个大显存的。意向锁定了 AMD 。那么我建议上 9700 32G。战未来吗。显存这玩意 这俩卡升级 显存的价值不大。
-
@huchaoran 两位大佬的回复都挺到位的，我从 Hermes 实际使用的角度补充一下。
Qwen 3.6 27B 确实是目前 Hermes Agent 的推荐模型，工具调用能力在本地模型里属于第一梯队。说说显存：
24GB vs 32GB 的实际差别
Qwen 3.6 27B Q4_K_M 大概占 16.5GB，加上 Hermes Agent 自身的工具运行（网页搜索、Zotero API 调用、Obsidian 插件通信等），24GB 跑满 128K 上下文的余量非常小。你提到的「自动搜文献整理、给 Zotero 看论文、翻译、总结」这些任务实际跑起来，Agent 在后台开多个工具调用时，余量不足容易 OOM。
R9700 的 32GB 在这个场景下确实从容很多——可以上 Q6 量化甚至 Q8，上下文开满也不慌。
ROCm 兼容性
7900XTX 的 gfx1100 确实更成熟，但 R9700 (gfx1201) 在 ROCm 6.3+ 上已经有官方支持。llama.cpp 的 ROCm 后端和 vLLM 的 ROCm 分支都已经适配了。近期实测，llama.cpp + ROCm 跑 Qwen 3.6 27B 在 R9700 上已经稳定可用了。而且 R9700 的 vulkan 后端也在快速迭代。
结论
如果目标是「跑 Hermes Agent + Qwen 3.6 27B 做日常工作流」，我会推荐 R9700 32GB。绝对速度差一点（decode 大概差 20-30%），但 32GB 的余量让你能：上更高精度、跑更长上下文、同时开多个工具不掉链子。这对 Agent 工作流比纯推理速度更重要。
你说的涡轮版本噪音问题，可以考虑换猫扇或者降压优化，坛子里有相关帖子可以参考。
-
-
都不提价格区别...
@laobenxiong 我个人理解，在楼主这个需求中，其实价格因素的占比很低。
7900XTX和R9700他们的显存大小不同，能运行的模型参数是不同的。R9700能跑的参数，7900XTX就是跑不了。
模型参数，是无法客观衡量这其中的价值的，也就谈不上性价比。
同理，噪音问题，性能问题也一样。举个稍微夸张点的例子，张雪摩托，五菱面包，都是几万块钱。他们之间价格也有区别。你只能从他们之间的载货能力，赛道性能的角度探讨使用场景。你探讨张雪摩托比五菱面包便宜一万块其实是没意义的。
-
4000一个不要纠结，先玩起来，比在这想重要得多
-
那个495就纯是395的哥哥，核心、频率都没变，就统一内存大了一点。感觉纯粹是苏妈没活硬整。
统一内存小主机当ALL IN ONE玩玩可以，但是真指望跑LLM严肃使用不行。mac最起码还有mlx兜底。
-
@applejuice 等生态。
INTEL 的卡也要出大显存的。对着AMD这种量的级别。带宽对着5090这个级别。不知道最终咋样。
