的確 這兩天用5090 跑27B(NINFER)做4併發另一張卡3090 or 現在的4090做文字辨識好像也夠用了 我僅用於找金融資訊與分析而已~27B搭配HERMES 若是不出問題的話也相當夠用了~我甚至可以把多的卡賣掉留5090+4090 48GB各一即可~不知道為什麼我華南的板子無法穩定裝雙4090+5090*1 太晚了~先休息~明天再問廠商看看~大家晚安^^"

更划算的分工：

1. 2×4090 48G 走 TP=2（同架构，无跨代内核问题）——96G 显存，7B 到 70B 的 W4 基本都能放，当主力。
2. 5090 单卡独立跑：模型塞得进 32G（27B W4/AWQ 约 15-16G 权重 + 长上下文 KV）就单卡跑，单流 decode 最快，当快问答/投机 draft；塞不下就当第二实例。
3. 真需要三卡同一模型时，先确认跨代内核能过，再用 nvidia-smi topo -m 看三卡 NUMA、nvidia-smi topo -p2p r 看 P2P。H12D-8D 双路下，跨 socket 的卡多半只能 host-staged。

补一句 NVLink：5090 没有 NVLink，4090 也没有（40 系起取消），只有 3090 有。所以 50904090、40904090 之间都不可能走桥，桥只对成对的 3090 有意义。预算先别花在桥上，按上面 2+1 分工把这套用满更实在。

今天3風扇的4090 48gb x2 也到了卡好大張，大小幾乎跟華碩水夜神的冷排差不多大

華南金牌 H12D-8D 要裝5090+4090 X2 需要2條延長線，弄了2小時才在WIN 10裡面抓到3張卡

也請教大家，5090+4090 X2會如何配置模型呢？

寄台灣，先感謝了

4090 48g x2 价钱差太多了
海外保修又麻烦

而且 4090 没有p2p, 感觉r9700x2 好点

• 那是技嘉 WRX80 工作站板（sWRX8 / Threadripper PRO），PCIe 4.0 有 128 条通道，四张卡跑 x16 或 x8 都不缺 lane，单看「能不能插满」没问题。
• 但 lane 够不等于卡间 P2P 直连。30 系 GeForce 走 PCIe 的 P2P 能不能启用，取决于 ACS/IOMMU/Above 4G 和驱动，不取决于通道数；NVLink 只保证成对那两张。
• 所以先别急着买桥：在这张板上用 nvidia-smi topo -m 和 nvidia-smi topo -p2p r（或 p2pBandwidthLatencyTest）看四张卡当前到底是 P2P 还是 host-staged。如果 WRX80 已经给出 PCIe P2P，NVLink 的边际收益就只剩成对那两张的带宽；如果被挡，桥才是唯一解。按实测再决定值不值那 1800。

1. 3090 的 NVLink 只能两两成对（2+2），没有 4-way。 桥是双卡点对点，第三方桥也一样。4 张卡 = 两个独立对；跨对之间的通信仍然走 PCIe（甚至可能过 PCH/host）。所以任何要 4 卡一起 TP 的负载，瓶颈还是跨对链路。

2. NVLink 真正解决的是「P2P 能不能直连」，不是单纯带宽。 GeForce 30 系在普通主板上，走 PCIe 的 GPU-GPU P2P 基本被驱动挡掉，vLLM/SGLang 的 TP all-reduce 会退化成 host-staged（过 CPU 内存），又慢又占内存带宽。插上桥后用 nvidia-smi topo -m 能看到 NV#，NCCL_DEBUG=INFO 会显示走 P2P——这才是质变。带宽上 3090 NVLink 约 112.5GB/s 双向（单向 ~56GB/s），对比 PCIe4 x8 单向 ~8GB/s，差约 7 倍。

3. 各引擎收益要分开看：

   • llama.cpp：--split-mode layer（默认）几乎不靠卡间通信，NVLink 提升很小；只有 --split-mode row 才吃通信，会明显受益。
   • SGLang / vLLM TP=2：收益最大。单请求（batch=1）主要是延迟受益（kernel 启动 + sync 更快）；多并发才是带宽受益。常见观测是 TP=2 效率从 PCIe 的 ~1.4–1.6x 提到 1.7–1.9x，通信重的配置提升更明显。
   • 4 卡场景：建议 TP=2 × 2 个实例（每对一张桥），比 4-way TP 硬跨 PCIe 更划算。

4. 价格：1800 一个偏贵。 原厂发行价约 $99，克隆桥（AliExpress/淘宝）常在 200–500 元档，功能一致。先量好槽距（3 槽 / 4 槽，别买错），认准 Ampere 专用桥（别拿 20 系的 P4932）。到手用 nvidia-smi topo -m 验证。

5. 建议：预算够就买 2 条桥，先跑一对验证收益，再决定第二对；把单卡 / TP=2-PCIe / TP=2-NVLink 三组 pp/tg 记下来，值不值一目了然。纯单请求、只跑 layer-split 的话，这钱可以先省。

@applejuice 这个机箱基本就是矿架+一个大型猫笼，因为家里有猫所以不得不把工作站关进笼子里保护起来。