交作业：X99+R9700X2 （一）

[lysen963]

6月以来开始学习AI，入手一个天钡AG02，23年我曾经玩过SD，当时想买4090，最后阴差阳错，买了个A4000Ada Sff小卡 ，20G。
用llama.cpp跑TP分层，和笔记本的3060 12G魔改，凑了个32G，比例（20，10）跑35B-A3B速度还不错。
但是因为我不懂Comfyui，学习花了点时间，导致显卡居然继续涨，闲鱼被人退单几次，包括所谓的闲鱼严选。
最后看了论坛之后，选中了R9700 10999元X2。
我也观望过P910和T9810等准系统。后来是ECC太贵。一直有一个多年未用的X99，先后用过1640V3和i7-5820K，后者几乎没用过。盘算了以下，用计划准系统的钱购入了64G DDR4 。
手头有杂牌64G的DDR4，为了时序，选了同品牌，1820元。
i7-5820K PCIE通道不足，升级处理器，2695V4，花了59元。
电源长城G13 1300W，提供了两个12V-2X6显卡供电口，679元。
机箱航嘉GX750C（可能是A，因为没有C口），80元，带了9个风扇。集线器的线有点问题，目前2000转全速，比涡轮全速还响。
杂七杂八的集线器、扎线带，TypeC拓展卡，200元。

最终配置如下：

CPU	E5-2695V4	+59元
主板	技嘉X99 UD4 1.0	+电池5元
显卡	翰恺AMD R9700 X2	+22000元
显卡	联想3070 16G魔改(拓展坞外接电源)	+拓展坞700元
内存	128G DDR4 3200	+1820元
硬盘	512G Geil P3P	闲置
硬盘	480G 影驰战将	闲置
电源	长城G13 1300W	+679元

后悔618的3万的DGX SPARK没买了。
有几个弯路和心得体会：
1、这个X99的PCIE1-4并非自上而下的槽位，而是：

PCIE 1号槽位	PCIE_1 16X
PCIE 2号槽位	PCIE_4，与PCIE1共享8X，所以不能插
PCIE 3号槽位	PCIE_2 16X
PCIE 4号槽位	PCIE_3 8X
系统	Ubuntu26.04、Win10

和AI工具就插第几根battle好几天，最后看说明书恍然大悟。这个主板支持的多卡是8+8+8+8或者16+0+16+8，最后，本来想保留A4000ADA SFF，但插不进去了，最后购入了OClink拓展卡，计划用来处理一些需要CUDA处理的VAE之类。
所以请教大佬，这样，三卡在COMFYUI中是否可行。

2、机箱用的是正压
忘了是不是这个描述，8个风扇都是进风，CPU单水冷和两个显卡是出风。散热和静音效果估计还不错。
是的，为了这个单120的水冷选的120W的2695V4。

更多的体会，实践中会继续补充。感谢论坛版主、网友的支持和鼓励。

[Xiaote]

作业很扎实，补几个 X99 双卡的坑：

• 别把任何一张 R9700 插到 PCH 引出的槽。PCH 后是 DMI 3.0 x4（≈3.9GB/s），TP all-reduce 会非常惨。要双卡 TP，就让两张各拿一条 CPU 直连的 x8 或 x16。
• 用 lspci -vv 看 LnkCap / LnkSta，或 AMD 侧 rocm-smi / amd-smi，确认每张卡实际链路的宽度和速率；X99 的 lane 分配经常被 BIOS「Auto」改掉，说明书和实测经常对不上。
• 2695 v4 是 40 lane，双卡 x16+x16 理论够，但 UD4 布线通常只给到 x8/x8，别纠结；x8/x8 对 TP 够用。
• 3070 走拓展坞外接没问题（显示/混合），但别拿它和 R9700 组 TP——跨卡跨总线，延迟会拖垮。
• 内存 3200 会被平台压到 2400 档（E5 v4 官方 DDR4-2400），时序跟着走，别按 3200 的预期调。
• 电源 1300W 够，但 12V-2x6 单口别串两张卡，两张 R9700 各用一口；峰值余量再留点。

期待（二）的实测。

[张光璞]

只有硬件吗？ 软件啥时候上

[lysen963]

@Xiaote 是的，幸好PCH走的是2个PCIEX1,好处是可以加一个5Gbps的type C，1.0的UD4主板，M2也只有10Gbps，1.1就没这个问题。

[lysen963]

@张光璞 得周末了，CPU刚到，单位网络太慢，周末安装好环境。

[张光璞]

整！ 感觉你们是都能走TP=2 的

[Xiaote]

对，这几条 PCH 出来的通道（M.2、Type-C、x1）是共享同一条 DMI 3.0 x4 上行的（约 3.9GB/s）。单用都够，但别让 NVMe 满速读 + 网卡 + 外设同时抢，一起跑就一起降速。

所以结论不变：TP 卡一定挂 CPU 直连槽。1.0 的 M.2 只有 10Gbps 更像通道分配/链路的限制，1.1 改善的是分配，不是上行总带宽——别把这块 NVMe 当推理的 scratch 盘写到满。

期待（二）的实测。

[Bunsei]

看起来是打算折腾ComfyUI那些东西？

[lysen963]

@Bunsei 是的，我觉得上R9700一般都是玩玩comfyui，LLM还是2个2080ti+nvlink节约

[Bourne Wang]

@lysen963 在哪个平台上买的？为什么我看小黄鱼上面比其他平台，全新要便宜1000多？

[lysen963]

@Bourne-Wang 你说显卡吗？我是天猫电器旗舰店买的，当时和咸鱼就差500左右。