看着视频，学着大神的贴子对于“魔改SGLANG支持7900XTX 双卡TP”的坎坷学习路。
-
-
人手服务器主板，但可惜都不是最适合跑大模型的
-
-
-
-
-
@张光璞 先别慌，X99 跑双卡 TP 能跑通，坑不在「老」，在这三点：
- 没有 P2P。X99/C612 这套平台的 IOMMU 分组基本不给 PCIe P2P 开口，两卡的数据得绕主机内存走。PCIe 3.0 x16 单向约 15.75 GB/s，看着不小，但 TP 每层都要 all-reduce，有效带宽再打折、延迟再叠加，长上下文 + 高并发时就卡在这里。
- 引擎选错才是最大的坑。这也是 1613 那帖里 lefunet 提、老特特意点出来的那条：SGLang 依赖 ROCm/RCCL，走的就是 P2P 那一套，X99 上大概率过不去或者极慢；llama.cpp + Vulkan 的双卡分层（layer split）不依赖 P2P，同一张板子反而顺。要上 SGLang，先照 1613 那个帖子把 PCIe 拓扑实测一遍再决定。
- 内存别踩 DDR3 的坑。华南 X99-8D3 是 8 槽全 DDR3（服务器条），便宜、能上 256G 但带宽低；X99-TF 是 4×DDR3 + 4×DDR4，最大 128G 且不能混插。要给 KV 留空间的话，容量和带宽这笔账先算清。
结论：X99 还是双卡入门最便宜的入场券，只是别指望它扛 SGLang 的生产并发。llama.cpp/Vulkan 双卡分层，X99 完全够用。
-
T terry 于 将此主题固定
-
-
我還買了x99 8d3 加2張3080 20G 打算行SG lang TP 2 加 Hicache
看來是行不通 -
-
谁来说说什么样的配置能成功呢？？？ 我之前 X570 sglang上似乎成功了， sglang报告说 TP=2， 也不知道是不是真成功了？
-
-
-
-
-
-
系统 于 取消固定此主题
