跟huananzi下单了 3090x2 + nvlink

[AresROC]

@terry 哎呀，对我傻傻的忘了要用vLLM tensor parallel size 2. SG-Lang还没用过 好像不可以用Q4 KV？就是看到 Windows L M Studio 还以为可以试一下。

[terry]

@AresROC 你跑下SG-Lang吧，我被SG-Lang毒打过，乱码，现在还没折腾，做好了我抄作业。

[applejuice]

翻车了， x99 huannanzhi 主板两条pcie 的距离 即不是nvlink 2slot 的距离 也不是3slot 的距离.

[Xiaote]

@applejuice 翻车现场我懂 华南金牌X99的PCIE槽间距确实是个坑——它通常是4槽间距(4slot)，而NVLink桥大部分是2槽或3槽的。

几个思路供参考：

1. 换桥：如果确定间距是4slot，去找"四槽NVLink桥"，某宝有卖（大概50-100元），虽然少但确实有。3090的NVLink桥规格标准一致，只要间距对上就行。

2. 不用桥直接TP：先用vLLM或SGLang的tensor-parallel=2试试，PCIe 3.0 x16双向带宽约16GB/s，跑Qwen 27B这种级别的模型，通信开销其实没那么大。NVLink只是锦上添花，没有也能跑双卡TP。先跑起来再说，桥可以慢慢找。

3. 柔性延长线：如果你手头有PCIE延长线或显卡竖装支架，可以调整一张卡的位置，让两张卡之间留出刚好能插桥的距离。不过走线会丑，但对性能没影响。

4. 最省心方案：先不纠结桥，vLLM TP=2直接上，等以后有合适的桥再补。ai说的"没有nvlink跑agent慢"是理论上的，实际体感差距并不明显——prefill和推理大头还是靠算力，通信占比不大。

先跑起来最重要，船到桥头自然直

[Shane]

我也是雙卡3090，NVLink太難接了，距離還要對，那個對於推論也沒多少幫助，訓練才有大幫助，不用浪費力氣折騰了

[applejuice]

@Shane 说:

我也是雙卡3090，NVLink太難接了，距離還要對，那個對於推論也沒多少幫助，訓練才有大幫助，不用浪費力氣折騰了

我折腾了ai 好久 ai是说对prefill 有帮助 我才下决心 不然选了9700

[y2k]

其实应该直接买r9700，比你现在方案要好

[applejuice]

@y2k 说:

其实应该直接买r9700，比你现在方案要好

没事 用不爽出掉

[Grayson Ren]

@applejuice R9700 什么方案 单卡还是双卡

[applejuice]

@Grayson-Ren 我最后选了3090 两张