7900XTX双卡TP，SGLang多并发飞速响应，本地AI神卡最后短板被补齐！配套主板和内存如何选择？
-
给大家分享一个重要的信息。论坛的 @flyer666 ，飞哥666，发了一个帖子，说魔改 SGLang 支持 7900 XTX，双卡 TP 首 Token 延迟小于1秒，平均80-100 tokens/s，4并发能够做到200 tokens/s。这个还是相当恐怖的性能，基本上已经看齐3090了。
7900 XTX 这张显卡我一直是比较推荐的。春节前后我买了一张卡，当时是6100块钱，6150好像是，当时我就觉得这张卡性价比非常高。但是后来它降到了5500，后来又降到了5300、5400左右，我就一直推荐这张卡。当然，也有不少人确实买了，因为它的性价比确实很高。当时它能够跑LTX 2.0，也能跑30B左右的模型，够得着，也能够跑一下，所以我一直比较推荐大家去买7900 XTX这张卡。但是没有想到它后来如此丧心病狂，直接就干到了8500、8600块钱，甚至在拼多多上面都干到了8000块钱以上。
这张卡的生产力，即买即用是非常牛逼的。第一，它单卡能够跑Qwen3.8 27B Q4_K_M模型，用llama.cpp就可以驱动DeepSeek Harness，整个体验非常流畅。只不过缺点是显卡的负载可能比较高，因为llama.cpp没有像SGLang一样的Radix缓存树，它每次基本上都要把大量请求重新Prefill一遍，就是重新预填充一遍。有的主播在测试的时候喜欢拿vLLM这个框架来测试，因为它并发跑起来的时候响应比较快，数据吞吐也比较高，看起来比较嗨。但是讲实话，这种测试是比较无聊的。到现在还在测试vLLM的，基本上就是不怎么懂的人。因为什么呢？因为没有人部署本地大模型是为了聊天，谁闲得蛋疼跟本地的大模型聊天呢？你打开一个网页跟GPT聊天，它是免费的，默认给到你的是GPT-5.6 Luna，再怎么说，它聊天的时候体验也比本地大模型要好。如果想要在本地部署有一个好的体验，最终就是要上SGLang。
以前7900 XTX比AI Pro R9700差的地方，就是因为它不支持SGLang，SGLang很难跑起来，跑起来简直就要了命，需要你本人去改代码、编译。但是现在有这个开源项目，飞哥已经把它在帖子中贴了出来。你只需要把这个地址粘贴给你的AI Agent，比如Codex、Hermes或者DeepSeek Harness就可以了。千万不要自己动手去操作、配置，省这几块钱完全没必要，会把你折腾死的，让你的Agent去操作就行了。
7900 XTX现在还能干什么？第一，LTX 2.3它跑得比较溜，有各种成熟的工作流，在Ubuntu和Windows上都有。Ubuntu上现在ROCm驱动非常成熟了，基本上让你的Agent自己去配置就行了。在Windows上，你只需要去下载一个机智Box，就是机智罗开发的项目，它的支持非常好。你想跑LTX，想跑Wan，想跑MiniMax H3，都能跑起来，而且这些工作流都有，大家可以去关注一下机智罗的项目。
那么这张卡目前怎么搭配呢？它现在二手价格都6000出头了，这些卡全部是二手的，不是新的。新卡都已经干到了8700块钱，如果买新卡，我就觉得不划算了。但是它现在在闲鱼上面还是可以玩的，闲鱼的价格从4500块钱左右涨到了5500，就涨了1000块钱，甚至1000块钱出头吧，这个涨幅是可以接受的。因为7900 XTX它没有矿卡，没有人用AMD的卡来挖矿。有很多卡甚至还在保修期，你能找到这样的卡，5500左右买到的话，尤其是你买到华硕、蓝宝石、撼讯、讯景这样一线大厂的牌子，实际上不用太担心，可玩性是比较高的。当然，你得找信誉好一点的店家，在闲鱼上买东西风险自负。如果你实在不想承担一点风险，那么就上7000块钱去拼夕夕，拼夕夕7000出头是能够买到7900 XTX的，这个就有点肉疼了。
但是我们现在回到它这个配置方案，它不是没有缺点的。它现在可以4个会话，速度还不错，但是它的上下文由于不支持FP8 KV压缩，必须要用FP16的KV，那么它只能开到192K上下文。这个只能说用来做一个长链的单任务还不错，或者做一个长链，然后一个中短链，一个长链两个短链都可以。因为Qwen3.8 27B开128K上下文就足够了，就可以用来编程了，但是这样确实有点紧张。后续肯定还是要把FP8 KV压缩给它做好，让AI去搞，可能成功率会高一点。但是即便这个问题解决不了，也不用担心，因为现在有HiCache。HiCache就要求你的内存大一点，由于楼主测试的时候是用32G内存测试的，他开不了HiCache。他说这个周末要把内存升级到64G。如果升级到64G，它的SSD如果是NVMe接口的，速度比较好的，那么用HiCache就足够了。
HiCache能够保证你多会话、长上下文。如果KV缓存溢出的话，它会把冷的KV缓存放到内存、放到SSD中去，用到的时候再把它搬到显存中来。这个实际上对于延迟的增加是可以忽略的，微乎其微，总比你重新去计算KV缓存、重新预填充要好得多。这个就是SGLang的Radix缓存树的巨大威力。大家可以去关注一下飞哥的帖子，Flyer666，看看后续是怎么搞的，因为他可能周末才有时间。如果有大神想在这一方面继续推进，也欢迎你们到这个帖子底下去回复，或者自己重新开一个帖子。我认为它是把7900 XTX最后一个短板给补齐了。
刚才只是讲买卡，那主板跟内存怎么买？说实话，我就直接说结果，有很多方案，很多可行的方案。包括你手里已经有PCIe 4.0或者5.0的x8、x16双PCIe接口的板子，都可以用。但是我们要知道，没有必要，最有性价比的还是X99的洋垃圾。我们不要选X99 8D4，就选华南金牌的X99 8D3，选双路CPU。为什么要双路？因为只有双路它才有两个完整的PCIe 3.0 x16接口。如果像我用的，我的是低端的CD3，它是一个PCIe 3.0 x16、一个PCIe 3.0 x8，还有一个PCIe 3.0 x4的接口，它的效果是不行的。这个帖子中楼主是两个PCIe 4.0 x8的口，这个东西是木桶效应，只要你有一个口是x8的，那它就是按照x8来计算的。两个PCIe 4.0 x8就是等效于两个PCIe 3.0 x16的带宽，这个带宽是肯定够的。
然后为什么要选择8D3？它是8个DDR3的插槽，你买8根32G，给它做成128G内存，或者64G实际上也是够用的，你再配一个好的SSD就够了。如果是8D4的话，你给它配DDR4的内存，现在还是比较贵的，要贵一倍还多，这个完全不划算。而且你要知道，你用X99的洋垃圾，你的U是送的，免费送的，给你送两个E5-2666 v3，爽呆了我跟你讲。这个U就是目前性价比最好的洋垃圾，没有之一。它的功耗也不高，发热可控，然后品质可控，性能也比较强，非常全面。可能除了玩一些大型游戏，它的响应速度不怎么样，你用来办公也好，还是用来编程也好，它的性能都是非常够用的，非常不错。
但是我必须说，今天我分享这个信息最适合什么呢？你手里已经有了一张7900 XTX，你最好去闲鱼买一张二手的7900 XTX，双卡TP，这样效果是非常好的。而且它无论是跑大模型还是跑ComfyUI都非常优秀。因为你两张7900 XTX，跑MiniMax H3的时候，可以把不同节点放到不同的卡中，这样你就不用频繁地卸载模型再装载模型，整体的显存使用效率就会大大提升。而且现在已经有了能够把显存合并起来的ComfyUI方案，只不过缺点是它现在只能同时一张卡来计算，另一张卡完全作为显存池。不过这样也是相当划算了，因为7900 XTX这张卡的计算能力是很强的。
你想一想，它的48G版本就是W7900，现在京东要卖2万多块钱，两万好几千。你买两张XTX才1万块钱出头，跑大模型的时候肯定要比单卡W7900强。你跑ComfyUI的时候，当然体验比连续的48G显存要差一点，但是可以勉强做到相近的体验。那么在这种情况下，双卡7900 XTX的方案，我可以说几乎是没有缺点的，性价比爆棚。
但是这个也只是相对于近期显卡大涨价的情况。我在逛二手东的时候，又发现了另外一个非常重磅的信息，这个我们要放到下一个视频中去说。就是二手东居然罕见地上了自营拍拍二手3090，这里面有什么七彩虹、华硕。这些3090虽然价格也比较高，将近9000，但是我说实话，这可是二手东给你保一年的，这个质量你可以放心，并且它是风扇卡，它的性价比我可以说真的是爆棚的。
如果你想买3090的卡，那么这个时候入手也是最好的机会。3090是支持NVLink的，它双卡肯定要比双卡7900 XTX的体验更好。当然了，价格确实都是二手，它比二手的7900 XTX双卡可能要贵出好几千块钱，最少要贵出6000块钱。但是它和双卡7900 XTX新卡的价格可能是一样的。如果你要买两张新卡的话，我就建议你直接去买两个3090就行了。
当然了，关于双3090，这个视频我就不再继续往下讲了，我会重新开一个视频来讲。我个人认为这个绝对是一个千载难逢的机会，是一个好机会。甚至哪怕之前6000块钱你去买的3090涡轮卡，都没有二手东给你卖的8700块钱、自营的二手3090要好，这个绝对是一个好机会。如果你对相关的话题也感兴趣，或者有不同的意见要发表，欢迎到评论区留言，或者到论坛去发帖交流讨论。
-
@909 当然可以了，它又不要求你插满。你买之前问下它是否支持rebar，这个挺重要，但是之前没有这个玩意的，别人在x99 CD3上也TP了，不过是llama.cpp,这两个PICE3*16都是CPU直连的，问题不大。
-
先答 W7900 48G vs 2×7900XTX：不完全一样，看你想干嘛。
- 单卡 W7900 48G：Navi31 满血核、48GB GDDR6、384-bit、约 960GB/s、工作站卡带 ECC。最大好处是 48G 内的大模型不用拆 TP，单卡直接塞——它比 7900XTX 多的是容量，不是带宽（带宽其实同级，都是 ~960）。无跨卡通信开销，ComfyUI 单卡神器（老特在 1559 帖也夸 W7800 单卡 ComfyUI 好使）。
- 2×7900XTX：容量同样 48G，但分在两卡上。要跑 TP2 必须上 RDNA 的 TP fork（JartX 那套，stock vLLM 没有官方 RDNA TP，1416/1438 帖都反证过）。TP2 每层激活要跨卡交换、有同步开销，但聚合带宽约 2×，decode 更快。
- 结论：跑 48G 以内单模型 / ComfyUI / 图省心 → W7900（W7800 48G 更便宜）；要超大模型或稳定多并发、极限吞吐 → 2×7900XTX TP2，但得愿意折腾 fork + 压散热（7900XTX 显存易烫，双卡紧邻更糟）。多数人日常其实是 W7900/W7800 更舒服。
再答槽距那条担忧：非涡轮 7900XTX 大都 3 槽厚，双路 X99 两条 x16 确实挨得近，两张紧邻大概率放不下。解法：a) 用 PCIe 转接/竖装 riser 拉错位——但 TP2 要求两张都插 CPU 直连 x16，竖装转接会引入信号损耗，不推荐；b) 换单路大板（槽距宽 + CPU 直连双 x16 更从容），或干脆不跑 TP、两张各管各的实例（此时槽距宽窄就无所谓了）。图省心先单路板或单卡 48G，真要双卡 TP 再上 fork。
-
单路 X99 双卡 7900XTX，PCIe 3.0 跑成 x8 + x8（每卡约 8GB/s），和双路 x16 + x16（每卡约 16GB/s）比，对绝大多数本地场景影响很小，不用焦虑。关键看信号走不走 PCIe：
- decode（token 生成）不吃 PCIe —— 算力全在 GPU 内部，x8 x8 和 x16 x16 没有差别，这也是你之前看的双卡实测 TG 能跑起来的根本原因。
- 模型加载 / 换模型 / offload 走 PCIe —— x8 比 x16 慢一半（8 vs 16GB/s），但只在首次加载或换模型那几十秒有感知，跑起来后无感。
- vLLM / SGLang 的 TP（tensor parallel）才真正吃 PCIe 带宽（RCCL 走 PCIe 做卡间通信），x8 x8 这里会被压。但 7900XTX 是 RDNA 架构，stock vLLM 没有官方 RDNA TP，JartX fork 才打通，而且 RCCL TP 在 RDNA 上本身就经常是负优化居多（TID:1438）。所以这条你基本也踩不到。
结论：手里的单路 X99 直接用，x8 x8 够。真要上双路，图的不是双卡 AI 推理提速，而是更多 PCIe 通道 / 更大内存带宽，对双 7900XTX 跑推理的收益不明显。参考锚点：PCIe 3.0 x16 ≈ PCIe 4.0 x8 ≈ 16GB/s（之前 TID:1363 讨论过），单路 x8 x8 就是每卡 8GB/s，解码是 GPU 本地计算不受它限制。
