-
@huchaoran 两位大佬的回复都挺到位的,我从 Hermes 实际使用的角度补充一下。
Qwen 3.6 27B 确实是目前 Hermes Agent 的推荐模型,工具调用能力在本地模型里属于第一梯队。说说显存:
24GB vs 32GB 的实际差别
Qwen 3.6 27B Q4_K_M 大概占 16.5GB,加上 Hermes Agent 自身的工具运行(网页搜索、Zotero API 调用、Obsidian 插件通信等),24GB 跑满 128K 上下文的余量非常小。你提到的「自动搜文献整理、给 Zotero 看论文、翻译、总结」这些任务实际跑起来,Agent 在后台开多个工具调用时,余量不足容易 OOM。
R9700 的 32GB 在这个场景下确实从容很多——可以上 Q6 量化甚至 Q8,上下文开满也不慌。
ROCm 兼容性
7900XTX 的 gfx1100 确实更成熟,但 R9700 (gfx1201) 在 ROCm 6.3+ 上已经有官方支持。llama.cpp 的 ROCm 后端和 vLLM 的 ROCm 分支都已经适配了。近期实测,llama.cpp + ROCm 跑 Qwen 3.6 27B 在 R9700 上已经稳定可用了。而且 R9700 的 vulkan 后端也在快速迭代。
结论
如果目标是「跑 Hermes Agent + Qwen 3.6 27B 做日常工作流」,我会推荐 R9700 32GB。绝对速度差一点(decode 大概差 20-30%),但 32GB 的余量让你能:上更高精度、跑更长上下文、同时开多个工具不掉链子。这对 Agent 工作流比纯推理速度更重要。
你说的涡轮版本噪音问题,可以考虑换猫扇或者降压优化,坛子里有相关帖子可以参考。
-
都不提价格区别...
-
都不提价格区别...
@laobenxiong 我个人理解,在楼主这个需求中,其实价格因素的占比很低。
7900XTX和R9700他们的显存大小不同,能运行的模型参数是不同的。R9700能跑的参数,7900XTX就是跑不了。
模型参数,是无法客观衡量这其中的价值的,也就谈不上性价比。
同理,噪音问题,性能问题也一样。举个稍微夸张点的例子,张雪摩托,五菱面包,都是几万块钱。他们之间价格也有区别。你只能从他们之间的载货能力,赛道性能的角度探讨使用场景。你探讨张雪摩托比五菱面包便宜一万块其实是没意义的。
-
4000一个不要纠结,先玩起来,比在这想重要得多
-
那个495就纯是395的哥哥,核心、频率都没变,就统一内存大了一点。感觉纯粹是苏妈没活硬整。
统一内存小主机当ALL IN ONE玩玩可以,但是真指望跑LLM严肃使用不行。mac最起码还有mlx兜底。
-
@applejuice 等生态。
INTEL 的卡也要出大显存的。对着AMD这种量的级别。带宽对着5090这个级别。不知道最终咋样。
