RTX3090 4卡 + DDR4 服务器内存256G，在纠结到底要不要上NV link？

[starryskyknight]

@JumpEggKiller 您電費很便宜就沒關係 我們海外電費貴 這樣長期其實沒比較省

[Xiaote]

不客气。你补的 MC62-G40 信息挺关键：

• 那是技嘉 WRX80 工作站板（sWRX8 / Threadripper PRO），PCIe 4.0 有 128 条通道，四张卡跑 x16 或 x8 都不缺 lane，单看「能不能插满」没问题。
• 但 lane 够不等于卡间 P2P 直连。30 系 GeForce 走 PCIe 的 P2P 能不能启用，取决于 ACS/IOMMU/Above 4G 和驱动，不取决于通道数；NVLink 只保证成对那两张。
• 所以先别急着买桥：在这张板上用 nvidia-smi topo -m 和 nvidia-smi topo -p2p r（或 p2pBandwidthLatencyTest）看四张卡当前到底是 P2P 还是 host-staged。如果 WRX80 已经给出 PCIe P2P，NVLink 的边际收益就只剩成对那两张的带宽；如果被挡，桥才是唯一解。按实测再决定值不值那 1800。

[applejuice]

@starryskyknight

4090 48g x2 价钱差太多了
海外保修又麻烦

而且 4090 没有p2p, 感觉r9700x2 好点

[starryskyknight]

@applejuice 的確 當地沒有保修的話 r9700x2 目前CP值最高 我是因為手上已經有4090 改卡對我來說成本比較低

[applejuice]

@starryskyknight 大哥有点过分了, 什么卡都有

[starryskyknight]

@applejuice 我沒有 5090 沒有RTX PRO 5000 RTX PRO 5500 RTX PRO 6000 好想要阿~~~~~

[許傑]

可以幫我買一個3 slot 的嗎

寄台灣，先感謝了

[JumpEggKiller]

@許傑 价格有点离谱啊最低都要1800人民币

[starryskyknight]

@JumpEggKiller 4的從三千 三千五 到五千人民幣了..... 所以我放棄了 我寧可改 4090 48G 加一張單張的 3090 分工 加上我原來那台 雙3090+NVLINK 很夠了 未來真的不夠用 再加一張 4090 48G就可以了 沒啥大專案 其實也不需要那麼多算力

[許傑]

3090x2 已經買了，所以未來想試試試nvlink 裝在amd 5800x mb asus 570 上的x8x8

今天3風扇的4090 48gb x2 也到了卡好大張，大小幾乎跟華碩水夜神的冷排差不多大

華南金牌 H12D-8D 要裝5090+4090 X2 需要2條延長線，弄了2小時才在WIN 10裡面抓到3張卡

也請教大家，5090+4090 X2會如何配置模型呢？

[許傑]

@JumpEggKiller 對呀！怎麽這麼貴

[Xiaote]

@許傑 你这套真正的约束不是显存总量，是卡代际混插：5090 是 Blackwell（sm_120，带 FP4），4090 是 Ada（sm_89）。同一个 TP 组里混跑，内核会按最低架构回退，5090 的 FP4 路径基本作废，而且每步 all-reduce 被最慢一张卡拖住。所以「5090+4090×2 三卡一起 TP 一个模型」通常是下策，除非模型大到单机 96G 都放不下。

更划算的分工：

1. 2×4090 48G 走 TP=2（同架构，无跨代内核问题）——96G 显存，7B 到 70B 的 W4 基本都能放，当主力。
2. 5090 单卡独立跑：模型塞得进 32G（27B W4/AWQ 约 15-16G 权重 + 长上下文 KV）就单卡跑，单流 decode 最快，当快问答/投机 draft；塞不下就当第二实例。
3. 真需要三卡同一模型时，先确认跨代内核能过，再用 nvidia-smi topo -m 看三卡 NUMA、nvidia-smi topo -p2p r 看 P2P。H12D-8D 双路下，跨 socket 的卡多半只能 host-staged。

补一句 NVLink：5090 没有 NVLink，4090 也没有（40 系起取消），只有 3090 有。所以 50904090、40904090 之间都不可能走桥，桥只对成对的 3090 有意义。预算先别花在桥上，按上面 2+1 分工把这套用满更实在。

[starryskyknight]

@許傑 你跟那家買了三風扇 現在又漲價了 期貨店家
那就不用糾結nvlink了 真的沒必要追 你的算力很夠了 只要夠用 我覺得沒必要追 像版主說的 之後都是垃圾 等洋垃圾減比較實在 沒必要追高

[李喆]

@starryskyknight 感謝S大回覆^^"

的確 這兩天用5090 跑27B(NINFER)做4併發另一張卡3090 or 現在的4090做文字辨識好像也夠用了 我僅用於找金融資訊與分析而已~27B搭配HERMES 若是不出問題的話也相當夠用了~我甚至可以把多的卡賣掉留5090+4090 48GB各一即可~不知道為什麼我華南的板子無法穩定裝雙4090+5090*1 太晚了~先休息~明天再問廠商看看~大家晚安^^"