一个7900 xtx 24G 装机单，期望：稳定、高性价比、可拓展，请大神点评
-
16G 单条内存 运行 难度不小。可能会有 臆想不到的 Bug。你实测下 给个结果。
远程局域网组合 tailscale + rustdesk 可以实现。 -
感谢各位大佬点评，算下来，如果考虑双卡的可能性，需要升级主板、机箱、电源等，现阶段预算要增加3000 - 4000RMB，2年后是否装第二张卡仍不确定。
考虑后觉得暂时就单卡先跑着，放弃双卡可能性，先用起来，争取跑通业务优先。
2年后，或许业务有营收了，一切都好办的。
AI发展飞速，2年后或许有什么更高性价比的技术出来。单卡的整机方案如下图，装上Windows 11 + vulkan + zerotier + 向日葵/rustDesk + Ollama + Qwen3.6:27B + 64K Context， 客户端跑：hermes/claude code/codex, 支持一些网站自媒体、开发、信息搜集、整理报告类型的日常重复劳动。
主要使用场景是推理， 不需要训练。
定位：一台廉价私人AI助手，不是一台需要维护的AI服务器。
-
其实你驱动单卡7900xtx的话，建议你把这套服务直接推翻，你在闲鱼收一个二手的服务器，只要是有pcie3.0就行。当然如果是amd的那种双路更好，因为pcie通道更多，将来你插双卡的话，呃比较舒服。只是记得买卡的时候要买薄一点的，厚度不要太厚了，这个影响你双卡。
收二手服务器的好处是这种东西都太他妈稳定了，这完全不是民用的，自己组装的机器可以比拟的，而且性价比超高。哪怕是以前老的惠普z220240420620这些机器都可以，但是要注意，最好是电源容量充足的，内存不够的话，可以自己加一下，16确实小了点32是比较舒服的。
我曾经也想自己组的，后来研究来研究去，发现还是老服务器比较爽，我最终选的是7820，双路，6个pcie，两个满速x16。民用级别的CPU，pcie通道数不够，你买了也是白买，基本断绝了你以后组双路的想法。
关于系统的话，千万别装Windows，就用无头Linux，本来显存就吃紧，你装一套图形系统，只会无畏的拖慢速度占用宝贵的显存资源。 -
还有一个关于模型的选择，显存直接决定了你可以用的模型。24g的显卡最好的选择是27b，32g的卡最好选择是35bMoE。各个价位肯定都是英伟达的更好，但是本地运行大模型的话速度是一个很重要的坎，27b你别看有了mtp以后速度都能到个五六十，但是agent时代的真正局限是pp速度，也就是预处理，一个系统提示词二十几k，上下文长一点了以后动不动上百k，虽然在同一个对话里面，它是逐渐累加的，跑起来以后还好，但是只要一涉及到大的文件读取或者说压缩对话之类的操作，那几乎都是全量操作，本地模型pp速度不够的话，直接跟卡死差不多。所以本地其实最佳的选择是35b的各种变种，质量不错，速度奇快。哪怕你的卡是5090，最佳的选择也是这两个，当然5090跑27b它计算速度太暴力了，好像pp能到1500往上。所以只要不是五零，九零，其他人的归宿差不多应该都是35b的各种版本。有了deepseek v4flash以后，本地部署的性价比其实挺低的。当然你用那种解禁的各种版本搞一点奇奇怪怪的事情，那是云端搞比不了的
。 -
还有一个关于模型的选择，显存直接决定了你可以用的模型。24g的显卡最好的选择是27b，32g的卡最好选择是35bMoE。各个价位肯定都是英伟达的更好，但是本地运行大模型的话速度是一个很重要的坎，27b你别看有了mtp以后速度都能到个五六十，但是agent时代的真正局限是pp速度，也就是预处理，一个系统提示词二十几k，上下文长一点了以后动不动上百k，虽然在同一个对话里面，它是逐渐累加的，跑起来以后还好，但是只要一涉及到大的文件读取或者说压缩对话之类的操作，那几乎都是全量操作，本地模型pp速度不够的话，直接跟卡死差不多。所以本地其实最佳的选择是35b的各种变种，质量不错，速度奇快。哪怕你的卡是5090，最佳的选择也是这两个，当然5090跑27b它计算速度太暴力了，好像pp能到1500往上。所以只要不是五零，九零，其他人的归宿差不多应该都是35b的各种版本。有了deepseek v4flash以后，本地部署的性价比其实挺低的。当然你用那种解禁的各种版本搞一点奇奇怪怪的事情，那是云端搞比不了的
。 -
你说是卡吗？那肯定是amd的AI Pro R9700。带宽只有五零，九零的1/3，价格差不多也是1/3，就看你怎么选择了。32g最大的好处就是可以跑高比特的呃35b，27b的模型是我自己实测比较抗量化的，但是35b的话低于Q4，在agent场景下几乎没有办法用，动不动锻炼，然后死循环，但是高比特的就没有这个问题。我在9700上跑的是Q5的版本，但是我是需要开两个通道。
不管怎么说，是你的钱提前利用AI也好，自己做点功课也好，才能满足你真正的需求。总的一句话就是本地跑的ai不要期待它能跟云端的相比，哪怕是云端的deepseek flash。速度和知识的瓶颈就在那里了，但是对于日常使用大部分场景又都够用了 -
还有一个关于模型的选择，显存直接决定了你可以用的模型。24g的显卡最好的选择是27b，32g的卡最好选择是35bMoE。各个价位肯定都是英伟达的更好，但是本地运行大模型的话速度是一个很重要的坎，27b你别看有了mtp以后速度都能到个五六十，但是agent时代的真正局限是pp速度，也就是预处理，一个系统提示词二十几k，上下文长一点了以后动不动上百k，虽然在同一个对话里面，它是逐渐累加的，跑起来以后还好，但是只要一涉及到大的文件读取或者说压缩对话之类的操作，那几乎都是全量操作，本地模型pp速度不够的话，直接跟卡死差不多。所以本地其实最佳的选择是35b的各种变种，质量不错，速度奇快。哪怕你的卡是5090，最佳的选择也是这两个，当然5090跑27b它计算速度太暴力了，好像pp能到1500往上。所以只要不是五零，九零，其他人的归宿差不多应该都是35b的各种版本。有了deepseek v4flash以后，本地部署的性价比其实挺低的。当然你用那种解禁的各种版本搞一点奇奇怪怪的事情，那是云端搞比不了的
。 -
我也和楼上差不多意见，直接上32G内存和32G显卡吧，马上QWEN 3.8开源的出来，如果智商继续在线，大家 都会抛弃3.6，你要扩展第二 块显卡的话， 主板其实也不能省，内存带宽往高了去，主板最好内置8X 8X拆分。
我就后悔两件事，当初没买32G，而是上了24G的RTX 3090，第二，5月初没有在4万2的时候入手RTX 6000D 84G显卡。那时入了就没有后面这么多折腾事了
-
@terry
我也是看到了你的视频以后才了解到amd现在跑本地模型的生态算是比较成熟了才入手的R9700，感谢。
你说的这个问题有两个缓解的办法，35b用ornith官方的Q5，Q6效果不错，属于是质量和速度的平衡，日用不做代码不开发的话驱动和维斯非常好用，完全够了，原版的容易死循环。27b我也下载好了，需要绝对的输出质量的时候，我就让另一个运维的赫mes切换一下，切换也做成技能了，一句话的事情很简单。
成年人我都要，27b和35b各有所长吧
