3080 20G*2的有没有，来交流啊兄弟们

[terry]

这有什么好研究的？这两张卡并行串行都随便跑啊，硬件完全合格了。你可以尝试下用VLLM或者SG-Lang TP，效率会高很多。跑起来发数据就好了，没必要跑串行分层，那浪费算力了。

[rock shi]

@terry 锤子哥！吼吼，之前vllm没搞定，我得再去折腾一波

[terry]

@rock-shi 对的，论坛需要你的数据，串行真的没啥意思，TP跑起来分享才有价值，这卡也算是神卡了。

[coin1860]

tp 必须要pcie4 x8 , pcie3 tp prefill 速度会慢过单卡pp

[terry]

@coin1860 那就不值得了，为这点事还换主板。洋垃圾都有两个以上PICE 3* 16，不会拖后腿吧。我觉得可以测试下。

[rock shi]

@terry 测试完了。vllm不行，18tokens/s左右，应该还是我的主板不行。ollama稳定29tokens/s

[terry]

@rock-shi 很重要的信息

[whjwyc]

我的就是3080 20g*2 vllm受限于主板，不成功。llamma.cpp还可以大概的速度是50多60左右的样子。模型qwen3.6-27b

[rock shi]

@whjwyc 我去！好消息，回头我也得试试。

[rock shi]

@terry 刚知道vllm还可以开mtp，我再多试试。回头再来反馈