<![CDATA[llama-benchy RTX3090x2 PCiX-SLi 跑 pp2048=1267 t/s, tg32=109 token/s]]>使用 Llama-Benchy 对 vLLM tp 2 进行测试. MTP , ctx 128k:
a28b047d-d384-4c17-a651-176f79ee94fd-image.jpeg

93246232-8267-4f7c-b1a1-b39932a88a87-image.jpeg

0ee2d82f-addc-4cee-8cdb-28d3051bbdc8-image.jpeg

没想到 Qwen3.6 27B Int4 能达到这样的运行速度。还没买 NvLink , 用PCIx 3.0x8

vLLM 主要参数
--max-model-len 131072
--tensor-parallel-size 2
--kv-cache-dtype fp8_e5m2
--max-num-batched-tokens 4128
--speculative-config '{"method":"mtp","num_speculative_tokens":3}'

大家都用什么Bench测试？

]]>https://lcz.me/topic/372/llama-benchy-rtx3090x2-pcix-sli-跑-pp2048-1267-t-s-tg32-109-token-sRSS for NodeMon, 27 Jul 2026 00:37:04 GMTSun, 31 May 2026 06:46:13 GMT60<![CDATA[Reply to llama-benchy RTX3090x2 PCiX-SLi 跑 pp2048=1267 t/s, tg32=109 token/s on Tue, 14 Jul 2026 09:08:37 GMT]]>你主板和cpu是什么，x99 没有这种速度

]]>https://lcz.me/post/9872https://lcz.me/post/9872Tue, 14 Jul 2026 09:08:37 GMT<![CDATA[Reply to llama-benchy RTX3090x2 PCiX-SLi 跑 pp2048=1267 t/s, tg32=109 token/s on Sun, 31 May 2026 13:54:05 GMT]]>@AresROC 差不多， 我单卡3090是60t/s跑mtp

]]>https://lcz.me/post/4460https://lcz.me/post/4460Sun, 31 May 2026 13:54:05 GMT<![CDATA[Reply to llama-benchy RTX3090x2 PCiX-SLi 跑 pp2048=1267 t/s, tg32=109 token/s on Sun, 31 May 2026 08:14:15 GMT]]>tg 速度不错啊. 加 --depth 参数再看看, 设成 20k 的样子, 模拟下 hermes 首次会话的 token数量, 也看看ttft.
我猜,总体体验应该是不错的.

]]>https://lcz.me/post/4425https://lcz.me/post/4425Sun, 31 May 2026 08:14:15 GMT