3080 20G*2的有没有，来交流啊兄弟们

[rock shi]

@whjwyc 我去！好消息，回头我也得试试。

[rock shi]

@terry 刚知道vllm还可以开mtp，我再多试试。回头再来反馈

[comeN]

我也是双卡3080 20G跑qwen3.6 27b在llama能跑32T，MTP=3能写代码能达到47T

[rock shi]

@comeN

[comeN]

@rock-shi 我后来把MTP改成2跟你这个速度差不多，才发现MTP不是越高越好

[applejuice]

@comeN 说:

@rock-shi 我后来把MTP改成2跟你这个速度差不多，才发现MTP不是越高越好

需要测，1,2,3,5,7
看成功率多少，看那个最快 然后才决定

[rock shi]

@applejuice 对，hermes子代理最高能飙到70t/s，已经足够了其实

[iocat]

3080有nvlink吗，上个桥接器应该很爽

[im17me]

你主板有我主板烂？Z390 ，我双卡3090 vLLM跑62token/s，单卡36token/s

[zhengdong you]

看了锤哥视频，下单了华南x99洋垃圾套餐，现在一张3080 20g 一张3080 10g矿渣，参考论坛大佬双3080 20g帖子，现在我30g显存千问27b也能有45t/s，开心。

[comeN]

速度差距有时候不是硬件差距是模型不同，我原版的27B-Q4KM能跑62，同样的27B-Q4KM另一个就只能跑57，配置和MTP都一样.