新手求助｜X99-8D3双路+双7900XTX Z30机箱放不下双卡，外置显卡方案求推荐
-
-
@xiang-xu 不是真的tp，可以考虑别的支持XGMI的主板
====以下来自dsh的agent：
根据检查结果，当前双卡 TP=2 的通信方式如下：
PCIe 拓扑结构
复制CPU Root Complex
├── PCIe 00:02.0 → GPU0 (05:00.0)
└── PCIe 00:03.0 → GPU1 (08:00.0)两张 GPU 分别连接在 CPU 的不同 PCIe root ports 上。
通信方式不是 GPU 直连（GPU Direct P2P）
当前通信路径：
复制GPU0 → PCIe Root Port 00:02.0 → CPU Root Complex → PCIe Root Port 00:03.0 → GPU1
从 rocm-smi --showtopo 确认：
Link Type: PCIE（不是 XGMI/Infinity Fabric） Hops: 2（需要 2 跳） Weight: 40为什么不是 GPU 直连？
消费级平台限制：X99 平台不支持 AMD XGMI (Infinity Fabric) 互联 XGMI 只在服务器平台可用：EPYC + Instinct 显卡才有真正的 GPU 直连 RX 7900 XTX 是消费级显卡：只能通过 PCIe 总线通信当前性能影响
通信方式 带宽 延迟
PCIe 中转（当前） ~32 GB/s (PCIe 4.0 x16) 较高
XGMI 直连 ~400 GB/s 极低实际影响：
All-Reduce 操作会有额外延迟 但对于推理任务影响不大（主要瓶颈在计算） 双卡仍然比单卡快（并行计算收益 > 通信开销）总结
双卡 TP=2 正常工作 使用 RCCL (AMD NCCL) 进行 All-Reduce 通信 
️ 通信通过 PCIe 总线中转，不是 GPU 直连 ️ 消费级平台无法实现真正的 GPU 直连这是消费级 AMD GPU 双卡的正常配置，性能已经是最优的了。
顺道炫一下我打了一半的架子 目前显卡就是上下放置 嗯，还有一半架子打印完了之后叠放在当前架子上面，然后就可以封箱了
-
@xiang-xu 不是真的tp，可以考虑别的支持XGMI的主板
====以下来自dsh的agent：
根据检查结果，当前双卡 TP=2 的通信方式如下：
PCIe 拓扑结构
复制CPU Root Complex
├── PCIe 00:02.0 → GPU0 (05:00.0)
└── PCIe 00:03.0 → GPU1 (08:00.0)两张 GPU 分别连接在 CPU 的不同 PCIe root ports 上。
通信方式不是 GPU 直连（GPU Direct P2P）
当前通信路径：
复制GPU0 → PCIe Root Port 00:02.0 → CPU Root Complex → PCIe Root Port 00:03.0 → GPU1
从 rocm-smi --showtopo 确认：
Link Type: PCIE（不是 XGMI/Infinity Fabric） Hops: 2（需要 2 跳） Weight: 40为什么不是 GPU 直连？
消费级平台限制：X99 平台不支持 AMD XGMI (Infinity Fabric) 互联 XGMI 只在服务器平台可用：EPYC + Instinct 显卡才有真正的 GPU 直连 RX 7900 XTX 是消费级显卡：只能通过 PCIe 总线通信当前性能影响
通信方式 带宽 延迟
PCIe 中转（当前） ~32 GB/s (PCIe 4.0 x16) 较高
XGMI 直连 ~400 GB/s 极低实际影响：
All-Reduce 操作会有额外延迟 但对于推理任务影响不大（主要瓶颈在计算） 双卡仍然比单卡快（并行计算收益 > 通信开销）总结
双卡 TP=2 正常工作 使用 RCCL (AMD NCCL) 进行 All-Reduce 通信 ️ 通信通过 PCIe 总线中转，不是 GPU 直连 ️ 消费级平台无法实现真正的 GPU 直连这是消费级 AMD GPU 双卡的正常配置，性能已经是最优的了。
顺道炫一下我打了一半的架子 目前显卡就是上下放置 嗯，还有一半架子打印完了之后叠放在当前架子上面，然后就可以封箱了
-
-
-
-
-
-
-
-
-
大卡机箱看了下，的确是可以放下的相当于目前机箱的2倍大小，但感觉要拆掉目前的主板啥的重新搞到新机箱里面又是新的折腾，就不想动了。
我目前的外置显卡支架终于折腾完毕，今天跑了下双卡负载模型，温度从之前的95度以上变为了不到80度，感觉还可以，除了噪音大一点没别的问题了。
目前的外置显卡支架采用封箱、正向风压风道的传统散热方式，只不过架子和防尘罩是DIY的，丑丑的。
风扇买的利民tl-b12 exterm 4只（3000+转，噪音有点大），还有2只从原机箱卸下来的
每单层左2风扇进右一风扇出的风道正压排风最后成品如图
前两天搞了下comfyui的qwen-image-2.1工作流、minimax-h3工作流、minicpm-o4.1全双工多模态测试（感觉模型傻傻的，速度卡卡的）
目前装这台机器让我懂得了很多硬件知识，实际跑下来也达到了我购买之前的预期，这个帖子就暂告段落了
后面我会继续初步学习折腾本地大模型与智能家居、开发单片机类似的结合，争取让我的agent能够不通过云端大模型就可以全双工多模态与我沟通，记录我的生活（很遥远的愿望，慢慢来）。 -
大卡机箱看了下，的确是可以放下的相当于目前机箱的2倍大小，但感觉要拆掉目前的主板啥的重新搞到新机箱里面又是新的折腾，就不想动了。
我目前的外置显卡支架终于折腾完毕，今天跑了下双卡负载模型，温度从之前的95度以上变为了不到80度，感觉还可以，除了噪音大一点没别的问题了。
目前的外置显卡支架采用封箱、正向风压风道的传统散热方式，只不过架子和防尘罩是DIY的，丑丑的。风扇买的利民tl-b12 exterm 4只（3000+转，噪音有点大），还有2只从原机箱卸下来的
每单层左2风扇进右一风扇出的风道正压排风最后成品如图
前两天搞了下comfyui的qwen-image-2.1工作流、minimax-h3工作流、minicpm-o4.1全双工多模态测试（感觉模型傻傻的，速度卡卡的）
目前装这台机器让我懂得了很多硬件知识，实际跑下来也达到了我购买之前的预期，这个帖子就暂告段落了
后面我会继续初步学习折腾本地大模型与智能家居、开发单片机类似的结合，争取让我的agent能够不通过云端大模型就可以全双工多模态与我沟通，记录我的生活（很遥远的愿望，慢慢来）。 -
-
-
-
-
我的X99-TF 也剛好遇到7900XTX 超白金擋住第二個PCIE插槽的問題，買了這種比較低的 PCIE3 X16的延長線，今天可能到貨，晚點試試看
-
@LO-PENG-SHENG 我踩过的坑， sudo dmesg | grep -c "PCIe Bus Error" 一定要记得安装完运行一会之后看看有没有总线通讯错误哈
我的之前被我扭麻花了，你的第二张卡用这个延长线会被压住吧最好测试下这个
对了 如果你的机箱空间够的话可以考虑竖装显卡+侧边装一张显卡
我的是因为买的主板cpu不是液冷的，所以主机箱空间下边和右侧都差一些，不然就集束到一台机箱里面了@浔雨 好的，謝謝你的分享，晚點裝好再依照你的建議檢查有沒有錯誤，我買的機箱第一個的PCIE插著7900XTX後，下方剩不到一張顯卡的空間，本來有考慮另一張豎著裝但是正面會擋住入風，側面沒有固定點位，因為線材都在這一側，上方的水冷扇空間本來要拿來倒吊顯卡，後來發現把機殼右下PSU旁邊的硬碟架空間拆除，顯卡用固定架剛好可以橫躺在那邊接PCIE延長線，後續要擴充顯卡的話應該就會倒吊在機箱水冷風扇的預留空間
站长已核：本帖设为精华，作者 +5 积分奖励，希望再接再厉！
本帖参与讨论人数已达 15+，入选热议，作者 +3 积分奖励，感谢分享！