7900XTX双卡TP，SGLang & VLLM 多Agent多并发测试对比
-
@懒人烘培 不好意思，写错了，我的主板其实是 GIGABYTE B850 AI TOP。两张 7900 XTX 装上去还是太挤了，卡间距连一个槽位都不到。双卡满载时发热很严重，连带着 CPU 温度也跟着遭殃。目前的解决方案是加装两个高压风扇：一个从两卡缝隙中间往里吹风，另一个顺着 CPU 风扇的气流方向，同时兼顾吹 CPU 和中间那张 7900 XTX 的背面。这样调整后，满载长时间跑推理时，显卡和 CPU 温度都能稳定在警戒线以下，不会触发降频。另外，我7900XTX锁功耗墙了，大概是从330W降到了305W（最低能降的数字）。
-
5mm 间距基本等于没有风道，两卡夹缝里的空气被反复加热，上面那张吸的是下面卡的排气，热是必然。尾部加风扇有帮助，但要看是「往夹缝送风」还是「往外抽热风」：
- 夹缝只有 5mm，14cm 扇塞不进去，风压也不够，效果有限；开放式散热的卡，最有效的是从机箱前面往两卡之间送一股定向风，或用导风罩把夹缝热气引出去。
- 根本解法是拉开间距（PCIe 延长线/转接、换板距更大的机箱），或上水冷/涡轮卡。垂直、吊装主要是避免热空气堆积，有用但不是根因。
- 别靠手感判断，看数据：nvidia-smi dmon -s pucvt，分别看两卡温度、功耗和降频原因。一般到 80-83℃ 才开始明显降频，先确认是不是真撞了温度墙。
建议先只把一张卡拉开距离跑一次对比，数据比加扇子直观。
-
-
@懒人烘培 我也是，随时准备搞根PCI延长线把显卡移出来，我是开放式机架，方便。 https://lcz.me/topic/1363/3 flyer666大佬这个帖子里有发图，他的双7900XTX就是延长线引出来了，放在机架上方，四面通风。
-
，系统 取消固定了此主题
-
@Geekyang 我再研究研究哈，网上说法不一，我的理解是B850 AI TOP 的两个 GPU 插槽是 CPU-direct x8/x8，物理拓扑具备 P2P 的前提；但 Gigabyte 并没有把它定义为一个保证 PCIe P2P 的功能。我估计消费级主板上这个功能够呛能实现。我找时间自己实测一下到时候拿数据说话。
-
@Ben-Lee 消费级CPU都没有P2P,因为CPU里没有root complex，但是并不影响TP，TP可走sharememory, 也就是，数据在内存交换。我问了Intel 工程师了。也就是X99 可以TP，但是消费级的就只能sharememory,其实效率也很高，毕竟PCIE带宽高了
-
@张光璞 这两天填了无数坑，折腾出一篇水文 https://lcz.me/topic/1740 7900XTX双卡TP，SGLang & VLLM 多Agent多并发测试对比（续一）- 山重水复）， 多批评指正。
或者看下面这个快速简短总结，谨供参考。
**硬件：**2× RX 7900 XTX + Ryzen 9600X + 64G DDR5 + GIGABYTE B850 AI TOP + ADATA SX8200PNP1TB （PCIe Gen3 x4、NVMe 1.3）
**平台：**Ubuntu，SGLang TP2，Qwen3.8-27B GPTQ长上下文唤醒：分钟级重算 → 秒级恢复
SGLang TP2 / MTP3，HiCache size16。首 token 延迟：
上下文档位 冷预填 显存 L1 命中 内存 L2 恢复 L2 比 L1 多等 64K 50.78s 0.431s 0.546s 115ms 120K 121.49s 0.711s 0.896s 185ms 192K 243.81s 1.055s 1.406s 351ms 驱逐对照，64K 回访：
配置 首 token 结果 无 HiCache 48.129s cached tokens = 0，重新计算 有 HiCache 0.546s L2 恢复，避免完整重算 单路历史基准
方案 测试口径 解码速度 单卡 llama.cpp Vulkan + MTP Qwen3.6-27B Q4_K_M，短请求 约 44 tok/s 双卡 vLLM Qwen3.8-27B GPTQ，64K 77.185 tok/s 双卡 SGLang 同轮、同模型，64K 88.815 tok/s 单卡仅作演进背景，不同模型、量化与长度，不计算跨组加速比。
多路 64K 冷预填
并发 引擎 各请求首 token：秒 聚合预填：tok/s¹ 2 路 SGLang 48.15／48.15 2720 2 路 vLLM 48.39／97.38 1346 3 路 SGLang 48.26／48.26／48.26 4070 3 路 vLLM 48.46／97.49／100.20 1962 4 路 SGLang 48.23／48.23／48.23／48.45 5408 4 路 vLLM 48.40／97.44／100.15／102.87 2547 当前进度
技术模块 状态 双 7900 XTX + SGLang TP2 
已跑通MTP3 / DFlash2 投机解码 均已测试HiCache L1 命中 / L2 恢复 已验证L3 的 FULL KV + Mamba 完整恢复 
研究中多 Agent 长期循环联合验收 
待完成 -
@张光璞 这两天填了无数坑，折腾出一篇水文 https://lcz.me/topic/1740 7900XTX双卡TP，SGLang & VLLM 多Agent多并发测试对比（续一）- 山重水复）， 多批评指正。
或者看下面这个快速简短总结，谨供参考。
**硬件：**2× RX 7900 XTX + Ryzen 9600X + 64G DDR5 + GIGABYTE B850 AI TOP + ADATA SX8200PNP1TB （PCIe Gen3 x4、NVMe 1.3）
**平台：**Ubuntu，SGLang TP2，Qwen3.8-27B GPTQ长上下文唤醒：分钟级重算 → 秒级恢复
SGLang TP2 / MTP3，HiCache size16。首 token 延迟：
上下文档位 冷预填 显存 L1 命中 内存 L2 恢复 L2 比 L1 多等 64K 50.78s 0.431s 0.546s 115ms 120K 121.49s 0.711s 0.896s 185ms 192K 243.81s 1.055s 1.406s 351ms 驱逐对照，64K 回访：
配置 首 token 结果 无 HiCache 48.129s cached tokens = 0，重新计算 有 HiCache 0.546s L2 恢复，避免完整重算 单路历史基准
方案 测试口径 解码速度 单卡 llama.cpp Vulkan + MTP Qwen3.6-27B Q4_K_M，短请求 约 44 tok/s 双卡 vLLM Qwen3.8-27B GPTQ，64K 77.185 tok/s 双卡 SGLang 同轮、同模型，64K 88.815 tok/s 单卡仅作演进背景，不同模型、量化与长度，不计算跨组加速比。
多路 64K 冷预填
并发 引擎 各请求首 token：秒 聚合预填：tok/s¹ 2 路 SGLang 48.15／48.15 2720 2 路 vLLM 48.39／97.38 1346 3 路 SGLang 48.26／48.26／48.26 4070 3 路 vLLM 48.46／97.49／100.20 1962 4 路 SGLang 48.23／48.23／48.23／48.45 5408 4 路 vLLM 48.40／97.44／100.15／102.87 2547 当前进度
技术模块 状态 双 7900 XTX + SGLang TP2 已跑通MTP3 / DFlash2 投机解码 均已测试HiCache L1 命中 / L2 恢复 已验证L3 的 FULL KV + Mamba 完整恢复 研究中多 Agent 长期循环联合验收 待完成
，我还一直在这儿装蒜
。以后多多指教哈。