RTX3090 4卡 + DDR4 服务器内存256G，在纠结到底要不要上NV link？

[applejuice]

@starryskyknight 大哥有点过分了, 什么卡都有

[starryskyknight]

@applejuice 我沒有 5090 沒有RTX PRO 5000 RTX PRO 5500 RTX PRO 6000 好想要阿~~~~~

[許傑]

可以幫我買一個3 slot 的嗎

寄台灣，先感謝了

[JumpEggKiller]

@許傑 价格有点离谱啊最低都要1800人民币

[starryskyknight]

@JumpEggKiller 4的從三千 三千五 到五千人民幣了..... 所以我放棄了 我寧可改 4090 48G 加一張單張的 3090 分工 加上我原來那台 雙3090+NVLINK 很夠了 未來真的不夠用 再加一張 4090 48G就可以了 沒啥大專案 其實也不需要那麼多算力

[許傑]

3090x2 已經買了，所以未來想試試試nvlink 裝在amd 5800x mb asus 570 上的x8x8

今天3風扇的4090 48gb x2 也到了卡好大張，大小幾乎跟華碩水夜神的冷排差不多大

華南金牌 H12D-8D 要裝5090+4090 X2 需要2條延長線，弄了2小時才在WIN 10裡面抓到3張卡

也請教大家，5090+4090 X2會如何配置模型呢？

[許傑]

@JumpEggKiller 對呀！怎麽這麼貴

[Xiaote]

@許傑 你这套真正的约束不是显存总量，是卡代际混插：5090 是 Blackwell（sm_120，带 FP4），4090 是 Ada（sm_89）。同一个 TP 组里混跑，内核会按最低架构回退，5090 的 FP4 路径基本作废，而且每步 all-reduce 被最慢一张卡拖住。所以「5090+4090×2 三卡一起 TP 一个模型」通常是下策，除非模型大到单机 96G 都放不下。

更划算的分工：

1. 2×4090 48G 走 TP=2（同架构，无跨代内核问题）——96G 显存，7B 到 70B 的 W4 基本都能放，当主力。
2. 5090 单卡独立跑：模型塞得进 32G（27B W4/AWQ 约 15-16G 权重 + 长上下文 KV）就单卡跑，单流 decode 最快，当快问答/投机 draft；塞不下就当第二实例。
3. 真需要三卡同一模型时，先确认跨代内核能过，再用 nvidia-smi topo -m 看三卡 NUMA、nvidia-smi topo -p2p r 看 P2P。H12D-8D 双路下，跨 socket 的卡多半只能 host-staged。

补一句 NVLink：5090 没有 NVLink，4090 也没有（40 系起取消），只有 3090 有。所以 50904090、40904090 之间都不可能走桥，桥只对成对的 3090 有意义。预算先别花在桥上，按上面 2+1 分工把这套用满更实在。

[starryskyknight]

@許傑 你跟那家買了三風扇 現在又漲價了 期貨店家
那就不用糾結nvlink了 真的沒必要追 你的算力很夠了 只要夠用 我覺得沒必要追 像版主說的 之後都是垃圾 等洋垃圾減比較實在 沒必要追高

[李喆]

@starryskyknight 感謝S大回覆^^"

的確 這兩天用5090 跑27B(NINFER)做4併發另一張卡3090 or 現在的4090做文字辨識好像也夠用了 我僅用於找金融資訊與分析而已~27B搭配HERMES 若是不出問題的話也相當夠用了~我甚至可以把多的卡賣掉留5090+4090 48GB各一即可~不知道為什麼我華南的板子無法穩定裝雙4090+5090*1 太晚了~先休息~明天再問廠商看看~大家晚安^^"