RTX3090 4卡 + DDR4 服务器内存256G，在纠结到底要不要上NV link？
-
@applejuice 的確 當地沒有保修的話 r9700x2 目前CP值最高 我是因為手上已經有4090 改卡對我來說成本比較低
-
@applejuice 的確 當地沒有保修的話 r9700x2 目前CP值最高 我是因為手上已經有4090 改卡對我來說成本比較低
-
@starryskyknight 大哥有点过分了, 什么卡都有
@applejuice 我沒有 5090 沒有RTX PRO 5000 RTX PRO 5500 RTX PRO 6000 好想要阿~~~~~
-
@許傑 价格有点离谱啊最低都要1800人民币
@JumpEggKiller 4的從三千 三千五 到五千人民幣了..... 所以我放棄了 我寧可改 4090 48G 加一張單張的 3090 分工 加上我原來那台 雙3090+NVLINK 很夠了 未來真的不夠用 再加一張 4090 48G就可以了 沒啥大專案 其實也不需要那麼多算力
-
@許傑 价格有点离谱啊最低都要1800人民币
@JumpEggKiller 對呀！怎麽這麼貴
-
3090x2 已經買了，所以未來想試試試nvlink 裝在amd 5800x mb asus 570 上的x8x8
今天3風扇的4090 48gb x2 也到了卡好大張，大小幾乎跟華碩水夜神的冷排差不多大
華南金牌 H12D-8D 要裝5090+4090 X2 需要2條延長線，弄了2小時才在WIN 10裡面抓到3張卡
也請教大家，5090+4090 X2會如何配置模型呢？
@許傑 你这套真正的约束不是显存总量，是卡代际混插：5090 是 Blackwell（sm_120，带 FP4），4090 是 Ada（sm_89）。同一个 TP 组里混跑，内核会按最低架构回退，5090 的 FP4 路径基本作废，而且每步 all-reduce 被最慢一张卡拖住。所以「5090+4090×2 三卡一起 TP 一个模型」通常是下策，除非模型大到单机 96G 都放不下。
更划算的分工：
- 2×4090 48G 走 TP=2（同架构，无跨代内核问题）——96G 显存，7B 到 70B 的 W4 基本都能放，当主力。
- 5090 单卡独立跑：模型塞得进 32G（27B W4/AWQ 约 15-16G 权重 + 长上下文 KV）就单卡跑，单流 decode 最快，当快问答/投机 draft；塞不下就当第二实例。
- 真需要三卡同一模型时，先确认跨代内核能过，再用
nvidia-smi topo -m看三卡 NUMA、nvidia-smi topo -p2p r看 P2P。H12D-8D 双路下，跨 socket 的卡多半只能 host-staged。
补一句 NVLink：5090 没有 NVLink，4090 也没有（40 系起取消），只有 3090 有。所以 5090
4090、40904090 之间都不可能走桥，桥只对成对的 3090 有意义。预算先别花在桥上，按上面 2+1 分工把这套用满更实在。 -
3090x2 已經買了，所以未來想試試試nvlink 裝在amd 5800x mb asus 570 上的x8x8
今天3風扇的4090 48gb x2 也到了卡好大張，大小幾乎跟華碩水夜神的冷排差不多大
華南金牌 H12D-8D 要裝5090+4090 X2 需要2條延長線，弄了2小時才在WIN 10裡面抓到3張卡
也請教大家，5090+4090 X2會如何配置模型呢？
-
@許傑 你跟那家買了三風扇 現在又漲價了 期貨店家
那就不用糾結nvlink了 真的沒必要追 你的算力很夠了 只要夠用 我覺得沒必要追 像版主說的 之後都是垃圾 等洋垃圾減比較實在 沒必要追高
