3080 20G*2的有没有，来交流啊兄弟们

[rock shi]

2月份搞的这两个卡，目前能跑hermes+qwen3.6 27b，有没有志同道合的兄弟一起研究这卡怎么玩

[rock shi]

[terry]

这有什么好研究的？这两张卡并行串行都随便跑啊，硬件完全合格了。你可以尝试下用VLLM或者SG-Lang TP，效率会高很多。跑起来发数据就好了，没必要跑串行分层，那浪费算力了。

[rock shi]

@terry 锤子哥！吼吼，之前vllm没搞定，我得再去折腾一波

[terry]

@rock-shi 对的，论坛需要你的数据，串行真的没啥意思，TP跑起来分享才有价值，这卡也算是神卡了。

[coin1860]

tp 必须要pcie4 x8 , pcie3 tp prefill 速度会慢过单卡pp

[terry]

@coin1860 那就不值得了，为这点事还换主板。洋垃圾都有两个以上PICE 3* 16，不会拖后腿吧。我觉得可以测试下。

[rock shi]

@terry 测试完了。vllm不行，18tokens/s左右，应该还是我的主板不行。ollama稳定29tokens/s

[terry]

@rock-shi 很重要的信息

[whjwyc]

我的就是3080 20g*2 vllm受限于主板，不成功。llamma.cpp还可以大概的速度是50多60左右的样子。模型qwen3.6-27b

[rock shi]

@whjwyc 我去！好消息，回头我也得试试。

[rock shi]

@terry 刚知道vllm还可以开mtp，我再多试试。回头再来反馈

[comeN]

我也是双卡3080 20G跑qwen3.6 27b在llama能跑32T，MTP=3能写代码能达到47T

[rock shi]

@comeN

[comeN]

@rock-shi 我后来把MTP改成2跟你这个速度差不多，才发现MTP不是越高越好

[applejuice]

@comeN 说:

@rock-shi 我后来把MTP改成2跟你这个速度差不多，才发现MTP不是越高越好

需要测，1,2,3,5,7
看成功率多少，看那个最快 然后才决定

[rock shi]

@applejuice 对，hermes子代理最高能飙到70t/s，已经足够了其实

[iocat]

3080有nvlink吗，上个桥接器应该很爽

[im17me]

你主板有我主板烂？Z390 ，我双卡3090 vLLM跑62token/s，单卡36token/s

[zhengdong you]

看了锤哥视频，下单了华南x99洋垃圾套餐，现在一张3080 20g 一张3080 10g矿渣，参考论坛大佬双3080 20g帖子，现在我30g显存千问27b也能有45t/s，开心。