求助！OCuLink/USB4 + 7900 XTX跑AI推理的实际表现如何？有没有用过的老哥说说大坑？
-
@hanyoud 我之前也研究过类似的外接显卡方案，来分享一些实测体会。
先说结论：预算允许尽量上 OCuLink，USB4 是备用方案。
带宽对比（实测）
- OCuLink PCIe 4.0 x4：理论 64Gbps，实测持续读写约 6.6GB/s
- USB4：理论 40Gbps，实测持续读写约 3.2-3.5GB/s
- 差距在 2x 左右。对于 LLM 推理影响最大的是首次推理（prefill）速度——prefill 阶段是 compute + memory bound，带宽越大首 Token 延迟越低。decoding 阶段（逐个出字）因为计算密度高，带宽影响小很多。
7900 XTX + ROCm 实际体验
- ROCm 6.2+ 对 pytorch 支持已经不错了，
torch.cuda.is_available()换成torch.rocm.is_available()基本能跑 - LLM 推理（llama.cpp 的 HIP 后端）：如果模型完全塞进 24GB 显存（Qwen2.5-14B Q4 约 9GB、Qwen3.6-27B Q4 约 18GB），推理速度很能打
- ComfyUI + ROCm：能用，但 N 卡生态更成熟（插件兼容性、自定义节点），A 卡在一些特殊节点上会报错
- 新手最大的坑：第一次跑 ROCm 推理需要编译 kernel，ComfyUI 首次启动可能等 10-30 分钟，不是卡住了
OCuLink 特有的注意事项
- OCuLink 不支持热插拔——插拔必须关机断电，比雷电网卡严格
- 延长线质量参差不齐，劣质线材会导致 PCIe 降速到 2.0 x2
- 线长最好不超过 0.5m，超过容易信号衰减
- 外接显卡坞最好自带电源（至少 850W），7900 XTX 瞬时功耗能到 400W+
- 笔记本用 OCuLink 时，外接 GPU 后内屏可能会有兼容问题，建议外接显示器
USB4 的优势场景
- 如果你需要在不同场景间频繁插拔（办公室/家里来回带），USB4 的热插拔体验好太多了
- USB4 控制器本身耗电约 2-3W（OCuLink 是被动线，几乎不耗电）
- 带宽差距在 ComfyUI 出图场景感受不明显——生图主要吃计算，带宽瓶颈不大
总结推荐
- 固定使用 + 追求最佳性能 → OCuLink
- 需要频繁移动 + 便利优先 → USB4（性能损失 10-15%，但可以接受）
- 如果预算有限，先走 OCuLink 方案，后续再加 USB4 底座作为备用
另外那篇 7900 XTX 领先 4090 13% 的测试来自哪篇？如果是 DeepSeek R1 的特定推理 benchmark，那个结果有场景依赖性，但至少说明 A 卡在纯推理场景确实不弱。
-
小弟自從接觸了老特說開始對本地AI萌生興趣，因為公司網路限制很多，封鎖大部分的AI domain，而且就算找到可以連的雲端AI，使用幾個小時下班前DLP告警就噴了幾百筆，嚇的我不敢再用，然後就腦筋就動到外接這招。
最近從淘寶買了一組需要自己DIY組裝的顯卡塢，連接方案我挑的是SlimSAS轉接卡不是常見的OCuLink/雷電，因為我們公司就是很常見的品牌套機，這些接口不存在的，本身就重加上電源供應器、7900XTX整組拎去公司簡直像舉啞鈴重訓一樣
費了一番力氣組裝好，裝好最新amd驅動，打開 GPUZ，有跑滿i5-9500世代的PCIE 3.0x16，實際表現因為才體驗一個多小時還沒有測太多，掛Qwen3.6-27b-Q4_K_M，文字推理一秒可以噴4x-5xT/s，個人覺得滿意，終於可以開始享受上班玩本地AI了。
-
小弟自從接觸了老特說開始對本地AI萌生興趣，因為公司網路限制很多，封鎖大部分的AI domain，而且就算找到可以連的雲端AI，使用幾個小時下班前DLP告警就噴了幾百筆，嚇的我不敢再用，然後就腦筋就動到外接這招。
最近從淘寶買了一組需要自己DIY組裝的顯卡塢，連接方案我挑的是SlimSAS轉接卡不是常見的OCuLink/雷電，因為我們公司就是很常見的品牌套機，這些接口不存在的，本身就重加上電源供應器、7900XTX整組拎去公司簡直像舉啞鈴重訓一樣
費了一番力氣組裝好，裝好最新amd驅動，打開 GPUZ，有跑滿i5-9500世代的PCIE 3.0x16，實際表現因為才體驗一個多小時還沒有測太多，掛Qwen3.6-27b-Q4_K_M，文字推理一秒可以噴4x-5xT/s，個人覺得滿意，終於可以開始享受上班玩本地AI了。
