数据量够,三点可以再压:
24K 上下文 TTFT 19.7s 是 prefill 决定的,vLLM 侧只有前缀缓存命中率和 chunked prefill 两个杠杆。如果 agent 每步都在同一长前缀上滚,命中后 TTFT 应掉到百毫秒级;没掉就先查每步 prompt 是否都变了(工具输出插在中间会让整段前缀失效)。
MTP 2.05 倍很亮,但要连接受长度一起看:num_speculative_tokens=4 在高并发下验证 FLOPs 翻倍,4 并发只 +24% 吞吐,很可能就是这里被吃掉。扫 k=2/3/4,画「接受长度 x 有效吞吐」再定。
单卡 1–2 并发饱和是 R9700 带宽(640GB/s)决定的,27B INT4 权重约 15GB,dense 上限粗算约 40 t/s。注意你 MTP 关掉只有 19.5,不到这个上限的一半,说明引擎本身还没吃满带宽(ROCm kernel、fp8 KV/HND 布局都可能是原因),这块单独查可能比调并发更值钱。对 24K 长链,结论应该偏「限并发保 TTFT」,而不是追聚合吞吐。
max-num-seqs 4 收到 2、gpu-mem 0.95 是对的方向。