3080 20G*2的有没有，来交流啊兄弟们

[rock shi]

@whjwyc 我去！好消息，回头我也得试试。

[rock shi]

@terry 刚知道vllm还可以开mtp，我再多试试。回头再来反馈

[comeN]

我也是双卡3080 20G跑qwen3.6 27b在llama能跑32T，MTP=3能写代码能达到47T

[rock shi]

@comeN

[comeN]

@rock-shi 我后来把MTP改成2跟你这个速度差不多，才发现MTP不是越高越好

[applejuice]

@comeN 说:

@rock-shi 我后来把MTP改成2跟你这个速度差不多，才发现MTP不是越高越好

需要测，1,2,3,5,7
看成功率多少，看那个最快 然后才决定

[rock shi]

@applejuice 对，hermes子代理最高能飙到70t/s，已经足够了其实

[iocat]

3080有nvlink吗，上个桥接器应该很爽

[im17me]

你主板有我主板烂？Z390 ，我双卡3090 vLLM跑62token/s，单卡36token/s

[zhengdong you]

看了锤哥视频，下单了华南x99洋垃圾套餐，现在一张3080 20g 一张3080 10g矿渣，参考论坛大佬双3080 20g帖子，现在我30g显存千问27b也能有45t/s，开心。

[comeN]

速度差距有时候不是硬件差距是模型不同，我原版的27B-Q4KM能跑62，同样的27B-Q4KM另一个就只能跑57，配置和MTP都一样.

[HighNie]

换板子 什么板子支持 双4080 32g的有大佬试过吗

[HighNie]

@im17me 说:

Z390

大佬 你这个是有桥接器的速度吗，我也想上双3090 用啥板子支持呀，要不要搞延长线 pci5 8x+8x的可以吗

[stxpnet]

最好发一下上下文过半之后的速度，反正 我的经验，上下文过半之后，速度也掉到一半，比较难受。

[stxpnet]

@HighNie 3090显卡只有PCIE4.0

[neo]

@stxpnet 说:

最好发一下上下文过半之后的速度，反正 我的经验，上下文过半之后，速度也掉到一半，比较难受。

用sglang速度还好，4bit模型不带MTP初始速度50+，超过128k以后也有40+。而且并发速度也不错。