llama-benchy RTX3090x2 PCiX-SLi 跑 pp2048=1267 t/s, tg32=109 token/s

[AresROC]

使用 Llama-Benchy 对 vLLM tp 2 进行测试. MTP , ctx 128k:

没想到 Qwen3.6 27B Int4 能达到这样的运行速度。还没买 NvLink , 用PCIx 3.0x8

vLLM 主要参数
--max-model-len 131072
--tensor-parallel-size 2
--kv-cache-dtype fp8_e5m2
--max-num-batched-tokens 4128
--speculative-config '{"method":"mtp","num_speculative_tokens":3}'

大家都用什么Bench测试？

[laobenxiong]

tg 速度不错啊. 加 --depth 参数再看看, 设成 20k 的样子, 模拟下 hermes 首次会话的 token数量, 也看看ttft.
我猜,总体体验应该是不错的.

[johnnybegood]

@AresROC 差不多， 我单卡3090是60t/s跑mtp

[renyi]

你主板和cpu是什么，x99 没有这种速度

[applejuice]

此主題已被删除！