【直播】4卡R9700从采购到调试

[Name Error]

1800 元闲鱼二手拿下 7945WX

如果不能买到最好的，那我们就先买最差的，但是得够用。

🧩 主板 华硕 Pro WS WRX90E-SAGE SE
🧠 CPU AMD Ryzen Threadripper PRO 7945WX
关联贴： https://lcz.me/topic/1915

目前成本：¥ 9,700

真实成本：¥ 11,143

[kos or]

DDR5 ECC內存是企業市場 不知道降價空間大嗎
二手 DDR4 ECC內存也開始缺貨

[Xiaote]

直播帖支持一个，顺着 4 卡 R9700 给几点选型提醒：

1. 平台 lane 预算
WRX90/TRX50 是 4 卡能跑满的前提（WRX90 基本每条 x16 都能 CPU 直连，TRX50 要看板型分配）。若走 MZ33/EPYC 单路，要确认 4 张 R9700 是否都落在同一 root complex 下；RDNA4 没有 NVLink，4 卡 all-reduce 全靠 PCIe，跨 socket / 跨 switch 的 P2P 会退化。验收同样用 rocm-smi --showtopo + RCCL_DEBUG=INFO。

2. 内存
WRX90E-SAGE 是 8 通道、只吃 ECC RDIMM，先用 1 根 16G 单条测试没问题；但 4 卡 + 大模型 agent 场景建议直接规划 256G 起，别等内存降价等到平台过时。

3. 供电与散热
4×R9700 每卡 ~300W 级，整机 1600W 起、留 1.5× 瞬态余量；WRX90 板大，注意机箱风道和每卡独立 PCIe 供电线。延长线（riser）选 4.0/5.0 认证的，折弯/劣质线是 P2P 掉链子的高发点。

4. 一次到位的顺序
先 1 卡跑通 + 单卡基线（pp/tg）→ 2 卡 P2P + TP 对照 → 4 卡再叠。每一步留数据，后面排查才有得比。

[terry]

4卡我觉得华南金牌的二手EPYC洋垃圾套餐挺好的 ，应该也是放得下，DDR4的平台。不过华硕的，贵有贵的道理，跑起来发下数据。

[Name Error]

@kos-or 聽說對岸的媽媽們已經進場囤記憶體了，也有玩家開始自己 DIY DDR5 記憶體。同樣都是一萬塊人民幣，我覺得還是拿去買顯示卡比較實在。

[Name Error]

@terry 我绝对是 华南金牌 主板的粉丝，家里至还放了两张挖坑时候的华南 x99。

怎么说呢，目前这个方案核心考量是 pcie5.0。
考虑到当前硬件市场的不确定性，我想留足测试的空间。

目前还在准备采购 v100，3090等其他类型的显卡，尝试混插。

这张 WRX90E 主板可以支持 6 个 pcie5.0x16 通信，绝对是最佳选择。

既能满足测试需要，也能满足后期的扩展需求。
有测试成果肯定发出来。

[applejuice]

@Name-Error 这个设置是 服务器机箱？

[Name Error]

@applejuice 机箱可选性其实挺多的，主要还是工作站塔式机箱偏多。

[applejuice]

真不错 我也想买这套 无奈太贵的
cpu 也贵 ddr5 也贵

[Name Error]

@applejuice 什么没涨价就买什么是对的！

[kos or]

@Name-Error said:

也有玩家开始自制ddr5内存条。同样是1万人民币，我觉得还是买显卡好。

按照你目前的高階平台規格預算
平台降規格 再小補一點預算 幾乎可以 8卡 R9700 => 8 x 32G VRAM =256G VRAM
另一種預算內選項是四台 DGX Spark 128G = 512G 統一記憶體

我用的主板是MC62-G40 , 八通道DDR4-2400 ECC 都插滿 理論速度是153 GB/s

[applejuice]

其实我一直很好奇pcie5 跑p2p 跟pcie4/3 跑 p2p 会差多少？
如果你入手了刚好可以跟网友分享的对比下了

据我跟ai 了解
2张卡
如果单人用 pcie 4/5 decode prefill 几乎没影响
多人使用decode 也大概在少过10% 的差距 这样

4张卡
Decode 多人使用大概10-15%
Prefill 单人 多人都在10-15%

我感觉2张卡pcie4 完全能够个人玩家是用
pcie3 对比pcie5 就差点点 2 张卡都差10%
4张卡并行 不是普通玩家了 机箱散热都是另一个等级的跳跃

当然以上讲着 r9700 或是 rtx5 series支持pcie5的显卡

[Name Error]

@kos-or 記憶體頻寬太低了，而且 DGX Spark 目前一台要 35,000 人民幣，我是不太看好。

其實我確實有打算這樣買：

• 4 張 7900 XTX、2 張 R9700，總共 160 GB
• 2 張 7900 XTX、4 張 R9700，總共 176 GB

7900 XTX 只要 5,500 人民幣就能入手，還是很划算。

等記憶體降到正常價格，我再加記憶體；不然就一路堆顯示卡，先不考慮電費。

參考資料：
https://modelrigs.com/hardware

[kos or]

@Name-Error

這樣也行 多種雙顯卡 跑起來挺有趣的

[Thanaots]

去年买wrx80+5955wx+256GB ddr 4 ECC，总共才花了不到2000刀。今年想知道，现在ddr5需要多少钱

[Name Error]

@Thanaots DDR5 ECC RDIMM 16G 【¥3500】

32G ≈ ¥7000
64G ≈ ¥14000

大概这样

[terry]

@Name-Error 5.0跑4卡是对的，4张卡的钱都花了，去省主板和内存的钱，确实没必要。

[Thanaots]

@Name-Error 说:

@Thanaots DDR5 ECC RDIMM 16G 【¥3500】

32G ≈ ¥7000
64G ≈ ¥14000

大概这样

真的好贵。这还不到128gb。你4卡至少需要128GB+2000w电源

[kos or]

@Thanaots said:

256GB ddr 4 ECC

這價格應該翻了1~3倍以上了
美國網友的 DDR4-2999 ECC 翻了60倍, 他老闆當時便宜賣他的 1G 才US$0.1

[Thanaots]

@kos-or 说:

@Thanaots said:

256GB ddr 4 ECC

這價格應該翻了1~3倍以上了

真疯狂。
我手里还有1TB的ddr 4 ECC。但是我真不想卖，因为确实用得到。
但是ddr 5，我感觉没有太大必要的，内存的大小，比速度更重要。