单并发（自己用、聊天的体感）：

• 无 MTP：约 37 tok/s
• MTP=1：54 tok/s
• MTP=2：65 tok/s
• MTP=3：70 tok/s，首 token 延迟也从 7s 降到 3.7s

聚合吞吐（多路并发，比如 ClaudeCode 并行任务）：

• 无 MTP 峰值最高：conc=32 时 704 tok/s，conc=128 能到 787，但 32 之后开始排队
• 开 MTP 高并发收益反而下降：MTP=3 在 conc=16 就到顶 406 tok/s

他实战里跑 8 个 ClaudeCode 并行约 350 tps，16 个约 400 tps，但实际最大并发只有 12 就撞 KV cache 上限了。

一句话：单用户看 37-70 tok/s（取决于 MTP），多并发聚合能到 700+，瓶颈在 KV cache 不在模型。

显卡在家里，暂时拍不到。。发点截图吧：
ClaudeCode



vllm

lmcache

另外，发现 lmcache 有 bug，导致qwen3.5系列输出乱码：

现在要用 lmcache 只能回退到 vllm0.25

1. 吞吐

   • 无 MTP

     并发       总时           平均延迟          吞吐
     conc=  1  wall=  7.00s  avg_lat= 7.00s  agg=  36.6 tok/s
     conc=  4  wall=  7.53s  avg_lat= 7.52s  agg= 136.0 tok/s
     conc= 16  wall=  8.94s  avg_lat= 8.94s  agg= 457.9 tok/s
     conc= 32  wall= 11.63s  avg_lat=11.62s  agg= 704.5 tok/s
     conc= 64  wall= 23.91s  avg_lat=17.08s  agg= 685.4 tok/s
     conc=128  wall= 41.63s  avg_lat=27.23s  agg= 787.1 tok/s
     

     可以看到 32 就开始排队了，KVCache 装不下，接下来砍掉 64 和 128 挡位：

     conc=  1  wall=  6.85s  avg_lat= 6.85s  agg=  37.4 tok/s
     conc=  4  wall=  7.51s  avg_lat= 7.50s  agg= 136.3 tok/s
     conc=  8  wall=  7.82s  avg_lat= 7.81s  agg= 262.0 tok/s
     conc= 16  wall=  8.94s  avg_lat= 8.94s  agg= 458.0 tok/s
     conc= 24  wall= 10.41s  avg_lat=10.40s  agg= 590.2 tok/s
     conc= 32  wall= 11.63s  avg_lat=11.62s  agg= 704.5 tok/s
     

   • MTP=1

     conc=  1  wall=  4.74s  avg_lat= 4.74s  agg=  54.0 tok/s
     conc=  4  wall=  5.09s  avg_lat= 5.01s  agg= 201.1 tok/s
     conc=  8  wall=  5.51s  avg_lat= 5.41s  agg= 371.8 tok/s
     conc= 16  wall=  6.67s  avg_lat= 6.58s  agg= 613.7 tok/s
     conc= 24  wall=  8.17s  avg_lat= 7.94s  agg= 752.5 tok/s
     conc= 32  wall= 13.44s  avg_lat= 9.40s  agg= 609.6 tok/s
     

   • MTP=2

     conc=  1  wall=  3.95s  avg_lat= 3.95s  agg=  64.9 tok/s
     conc=  4  wall=  4.45s  avg_lat= 4.32s  agg= 230.2 tok/s
     conc=  8  wall=  5.03s  avg_lat= 4.92s  agg= 406.9 tok/s
     conc= 16  wall=  6.37s  avg_lat= 6.17s  agg= 642.9 tok/s
     conc= 24  wall= 11.92s  avg_lat= 8.53s  agg= 515.3 tok/s
     conc= 32  wall= 13.17s  avg_lat= 9.86s  agg= 621.8 tok/s
     

   • MTP=3

     conc=  1  wall=  3.66s  avg_lat= 3.66s  agg=  70.0 tok/s
     conc=  4  wall=  4.00s  avg_lat= 3.87s  agg= 255.7 tok/s
     conc=  8  wall=  4.90s  avg_lat= 4.74s  agg= 418.1 tok/s
     conc= 16  wall= 10.07s  avg_lat= 6.82s  agg= 406.6 tok/s
     conc= 24  wall= 11.60s  avg_lat= 8.57s  agg= 529.6 tok/s
     conc= 32  wall= 16.32s  avg_lat=10.36s  agg= 502.0 tok/s
     

   • 可见高并发 MTP 收益下降

2. KVCache

   •   --kv-cache-memory-bytes 9G
     

     GPU KV cache size: 128,341 tokens

   •   --kv-cache-memory-bytes 10G
     

     GPU KV cache size: 141,994 tokens

   •   --kv-cache-memory-bytes 9G \
       --kv-cache-dtype fp8_e4m3
     

     GPU KV cache size: 220,013 tokens

   •   --kv-cache-memory-bytes 10G \
       --kv-cache-dtype fp8_e4m3
     

     GPU KV cache size: 243,419 tokens

   • --kv-cache-memory-bytes 极限大概在 13G，但这意味着必须砍掉 MTP、lmcache 等功能

   • 除了 --kv-cache-memory-bytes 和 --kv-cache-dtype，GPU KV cache size 实际值还受一些其它参数影响

3. 视觉

   • 关闭（--gpu-memory-utilization 0.8 仅作为测试）

       --language-model-only \
       --gpu-memory-utilization 0.8
     

     Free memory on device (31.08/31.47 GiB) on startup. Desired GPU memory utilization is (0.8, 25.17 GiB). Actual usage is 18.33 GiB for weight, 2.47 GiB for peak activation, 0.11 GiB for non-torch memory, and 0.51 GiB for CUDAGraph memory. Replace gpu_memory_utilization config with --kv-cache-memory=3863865754 (3.6 GiB) to fit into requested memory, or --kv-cache-memory=10206990336 (9.51 GiB) to fully utilize gpu memory. Current kv cache memory in use is 3.74 GiB.

   • 开启

     Free memory on device (31.21/31.48 GiB) on startup. Desired GPU memory utilization is (0.8, 25.18 GiB). Actual usage is 19.2 GiB for weight, 1.89 GiB for peak activation, 0.11 GiB for non-torch memory, and 0.52 GiB for CUDAGraph memory. Replace gpu_memory_utilization config with --kv-cache-memory=3555439719 (3.31 GiB) to fit into requested memory, or --kv-cache-memory=10030697984 (9.34 GiB) to fully utilize gpu memory. Current kv cache memory in use is 3.46 GiB.

   • 可见视觉权重约 0.9G

4. lmcache

   • ClaudeCode 第二轮对话

     • 不开启

       Prefix cache hit rate: 44.5%

     • 开启

       Prefix cache hit rate: 45.1%, External prefix cache hit rate: 6.3%

   • ClaudeCode 跨会话

     • 先发，首轮用时 15s

     • 后发，首轮用时 4s

       Prefix cache hit rate: 0.0%, External prefix cache hit rate: 77.1%

5. 实战

   • 使用 ClaudeCode workflow 并行处理不同话题。数量：

     • 8个：350 tps
     • 16个：400 tps，实际上最大并发只有 12，KVCache 就满了

6. 暂时只测了这些