这个作者更新太快了,前几天更新0.8.0后补测了一些数据,结果现在看已经更新到0.11.4了,就先这样吧,实在是跟不上作者节奏了
TTFT 随上下文规模近似线性增长:8K 档 6.2s 递增至 256K 档 198.1s(峰值)。16K/64K 复测时
TTFT 分别为 0.078s/0.125s,远低于首测(10.953s/44.640s),疑似命中 prompt cache;
该测试数值不反映冷启动预填充能力。
8K–256K 各档 TTFT:8K 6.156s|16K 10.953s|32K 21.891s|64K 44.640s|128K 93.140s|256K 198.125s
16K/64K 首测与复测对照
· 16K 首测|平均延迟 24.985s|TTFT 10.953s|模型解码 34.92 t/s|Prompt 解码 1,460.79 t/s|总耗时 25.14s
· 16K 复测|平均延迟 12.047s|TTFT 0.078s|模型解码 42.53 t/s|Prompt 解码 1,328.13 t/s|总耗时 12.20s
· 64K 首测|平均延迟 58.219s|TTFT 44.640s|模型解码 36.38 t/s|Prompt 解码 1,433.69 t/s|总耗时 58.39s
· 64K 复测|平均延迟 12.281s|TTFT 0.125s|模型解码 38.91 t/s|Prompt 解码 5,211.30 t/s|总耗时 12.45s
首测为首次请求,复测为同一 prompt 的第二次请求(prompt cache 命中,prefill 结果被复用);
复测值仅代表缓存命中场景的吞吐,不宜与首测冷启动值直接对比。