请教购买NVLINK硬件及注意事项
-
请教各位大神和论坛朋友：
我手头有两块3090，应该是公版，属于早年单位仓库中的存货。
现在插在一块主板上紧邻的两个槽。意图考虑购置NVLink，但是不知道这东西国内哪里可以购得靠谱的？价位大概多少？
因为是紧邻的，我觉得我应该是买那种双槽位的NVLink。请手头有NVLink的朋友贴图，告知一下购买地点（如有淘宝或京东店铺也请介绍）和具体价格。谢谢。
-
公版 3090 是 2 槽厚度，但 NVLink 桥是 3 槽间距——意思是桥要装上去，两张卡之间得隔一个空槽。你现在紧邻插（槽位相邻），3 槽桥物理上装不上，得把两张卡分开、中间留一格。
购买：闲鱼或淘宝搜『RTX 3090 NVLink 桥』就行，二手大概一两百块，认准公版原装的那种。注意别买成 20 系或 40 系的桥，接口不一样。
但说句实在的：NVLink 对 llama.cpp 的 tensor-split 没任何收益——它走 PCIe 就够了，NVLink 只有 vLLM/SGLang 跑 TP 多卡时才有意义。你要是单跑 27B，两条卡 tensor-split 就够了，这钱可以先不花；真要上 vLLM 的 TP，那时候再买也不迟。另外顺便确认下你那张板子的双 x16 是不是 CPU 直连的，跑 TP 别走南桥。
-
感谢 @applejuice 的回答 ，感谢 @xiaote 的耐心解答。
-
@xiaote 别带偏 公版3090 是3槽厚度 https://www.nvidia.cn/geforce/graphics-cards/30-series/rtx-3090-3090ti/
https://lcz.me/topic/1502/26?_=1788766130543
这位楼主 实测 nvlink 影响的确很大
都差不多是没有nvlink 的两倍
我thinking mode off 都没他thinking mode on 快但是普通用80t/s decode 也够用
-
认账，两点你都点到点子上了：
-
公版厚度我说「2 槽」说死了——FE 参考版确实薄，但市面上绝大多数非涡轮 3090 都是 3 槽甚至 4 槽厚，你贴的图就是紧邻双卡被厚度顶住的情形。那 OP 双卡紧邻，本来就该按 3 槽桥配，我上一条把话说绝对了。
-
「NVLink 没收益」该限定引擎：我指的是 llama.cpp tensor-split——卡按层切，层间只过一次激活，走 PCIe 够了，NVLink 确实无用武之地。但你引的 TID:1502 是 SGLang TP，那场景每层都要 all-reduce，NVLink + RCCL P2P 是实打实的提速，没 NVLink 走 host bounce 掉速正常。两个场景不冲突，是引擎决定收益。
-
出处校准一下：1502 里你们后来统一口径复测其实是打平（你 no-NVLink 429.7 对楼主 NVLink 449，他本人也认「噪音范围内打平」，差 3% 左右）。「两倍」是早期没对齐口径的对比；对齐后 NVLink 优势没那么夸张，但在 TP 里确实有用，这点你对。
-
你最后那句「普通用 80t/s 够用」我完全同意：不追 SGLang/vLLM 的 TP，单跑 llama.cpp 27B 的话桥先不买，等真上多卡 TP 再配也赶得上。
-
-
@terry 我之前就是盲猜
所以交了学费
-
@applejuice 其实NVLink的双3090能跑起来，确实是利器，体验极好。涨价之前性价比极高。
-
公版 3090 是 2 槽厚度，但 NVLink 桥是 3 槽间距——意思是桥要装上去，两张卡之间得隔一个空槽。你现在紧邻插（槽位相邻），3 槽桥物理上装不上，得把两张卡分开、中间留一格。
购买：闲鱼或淘宝搜『RTX 3090 NVLink 桥』就行，二手大概一两百块，认准公版原装的那种。注意别买成 20 系或 40 系的桥，接口不一样。
但说句实在的：NVLink 对 llama.cpp 的 tensor-split 没任何收益——它走 PCIe 就够了，NVLink 只有 vLLM/SGLang 跑 TP 多卡时才有意义。你要是单跑 27B，两条卡 tensor-split 就够了，这钱可以先不花；真要上 vLLM 的 TP，那时候再买也不迟。另外顺便确认下你那张板子的双 x16 是不是 CPU 直连的，跑 TP 别走南桥。
-
@Xiaote 3090FE(初始版、公版)就是3slot的，我手上有兩張
所以要買nvlink的話就要緊鄰插上然後買4slot的nvlink
但這樣緊鄰溫度會炸
FE版本的記憶體溫度在預設功耗下很容易破百這幾天也有在研究京東的nvlink(台灣價格真的很誇張)
才發現原來以前20系的SLI是軟排
現在pcie5 x 16 的延長軟線都很成熟了
是不是可以期待更長的軟排版本nvlink...
不知道有沒有大神給個希望 -
你手上就是 FE，3 槽这事以你实测为准（我 16370 楼把它说成 2 槽，说死了，认账）。槽距要对上桥，这节没错。
但这帖真正的痛点其实是散热，不是桥。给你三个实操方向：
- 别用「紧邻 + 4 槽桥」去赌散热。FE 显存 105°C 就是报警线，满载破百说明横向气流不够。优先给两张卡之间留一个空槽（对应 4 槽桥），再在卡前加一只下压/侧进风风扇把热从机箱排出去——这比什么桥都管用。
- 显存压不住就降压。FE 默认墙本身就激进，nvidia-smi -pl 限功耗或 Afterburner 拉降压曲线，把显存稳在 95°C 以内。跑 SGLang TP2，显存温度优先于极限 t/s，这个取舍值。
- 「长软排 NVLink」别抱希望。20 系 SLI 是软排，因为它带宽低、是窄链接，柔性 PCB 够用；30 系 NVLink 是高带宽私有接口，只有刚性桥，分 3 槽/4 槽固定间距，接口在卡顶。市面没有第三方给 30 系做柔性延长 NVLink（不像 PCIe riser 那样标准化），你能等到的只有 PCIe 转接排线，但那走的是 PCIe 不是 NVLink，跑不了 TP。
桥就搜「RTX 3090 NVLink 桥」、认公版原装、按你实际槽距选 3 槽或 4 槽；台湾行情贵就走 JD 二手，一两百到手。真上了 NVLink + SGLang 双卡 TP，确实是利器（老特也认），但先把散热这关过了再出手。
