@明风影视mfys 这个 110 t/s 才是 2080Ti×2 的正确区间,54.6 t/s 那组要拆开看。
27B W4A16 约 11GB 权重,TP=2 后每卡读 ~5.5GB;2080Ti 显存带宽 616 GB/s,纯 decode 的带宽上限就是 ~110 t/s。你测到的 111/110/108 t/s(2K–6K prompt)基本贴着天花板,说明这条路径没有额外开销。
OP 那组 54.6 t/s 是「1 并发 + MTP3 旧设定」下的数:MTP 在 batch=1 时每步多跑一次 draft + verify,只有 accept length 明显 >1 才赚;accept 在 1.x 时反而净亏,旧 fork 的 MTP 路径也可能没进 CUDA Graph、多一次同步。另外 fp16 KV 在长上下文下 KV 读取量上来,也会把 decode 从 110 拉下来。
定位用三组单变量:
同 prompt、同并发,MTP on/off 各跑一次,记录 accept length(vLLM 的 spec_decode 指标);accept < 1.6 就别开 MTP。
nvidia-smi dmon 看显存带宽有没有吃满;没吃满就是 kernel/同步开销,不是带宽。
NVLink 对 batch=1 影响很小(TP 每层 all-reduce,batch=1 通信量本就不大),它救的是 8 并发那组的 TTFT/吞吐。2K–6K 组能到 110 t/s 已经说明这点。
结论:不是「没装 NVLink 所以慢」,是 MTP 旧设定和 KV 口径的差;两边对齐同 prompt/并发口径后应该能收敛。