• 模型：qwen3.8-next-flash-fp8-iq4r-moe.rad（113.59 GiB，SHA256 0af5e962…4d20）
• 推理引擎：Radiance 1.15.1（Docker 镜像 stilldeadcode/radiance:1.15.1）
• 测试工具：guidellm 0.7.3，用 ignore_eos 强制跑满输出长度，靠 max_requests 控制请求数

1. 测试配置

硬件

2. 测试方法

我这边的测试方法主要是在预填充大量 context 的情况下测试 prefill 和 decode ，因为这是我自己更加常见的 agent 自动化开发场景：

1. 多轮会话口径（prefix-fill）：每个请求由「已建立的 N token 上下文 + 新增 2000 token」组成，生成 1000 token。对应的是 agent 连续对话里第 N 轮的真实开销，而不是冷启动灌上下文。
2. Decode = (实际输出 token − 1) ÷ (总耗时 − TTFT)，也就是首字之后每 token 的速度，已经把投机解码一次出多个 token 的收益算进去了。
3. 聚合吞吐（稳态窗口）：只统计所有流都建完上下文之后的区间，冷灌阶段（每条流的第一轮）不计入分母。原因是现实中 agent 的上下文都是随会话逐步攒出来的，冷灌极少发生，它的代价见 3.1 里的说明。
4. 增量 Prefill = 2000 ÷ 稳态 TTFT，即每轮新增内容真正要算的那部分。
5. 冷灌 Prefill = prompt token ÷ TTFT（每个档位的第一条请求，全量建上下文）。
6. 并发放 1 / 2 / 4 / 6 条流（另外做了 8 流的可行性对照，见 3.8）；每个请求都带唯一 nonce 前缀，避免命中共享的前缀缓存。

3. 结果

3.1 单流 + 聚合生成速度

解读：

• 单流 decode 在 4K 处是 180 tok/s，到 192K 仍有 161 tok/s（−10%），全程基本是平的。
• 生产配置（6 流）的聚合吞吐：4K 346 tok/s、16K 392、192K 仍有 333，长上下文几乎不掉。

️ 如果把冷灌阶段也算进分母（即「整个 run 的总 token ÷ 墙钟时间」），192K 只剩 151 tok/s，不到稳态的一半。因为一次 run 有七成时间花在建上下文上，而建上下文本身在两次同配置的跑之间就能差一倍（实测 83s vs 179s）。真实使用中上下文是逐步攒出来的，所以这里统一用稳态窗口口径。

3.2 首字延迟

解读：稳态轮的 TTFT，单流从 0.44s（4K）升到 0.59s（192K）；6 流时是 0.54–0.77s。

3.3 增量预填充

解读：每轮新增的 2000 token，处理速度从 4K 的 4521 tok/s 降到 192K 的 3381 tok/s（−25%）。这是 decode 之外第二个会随上下文衰减的量，好在幅度不大。

3.4 每步接受的 token 数

解读：每步接受 2.40–2.62 个 token，几乎不随上下文和并发变化。说明投机解码的接受率在这套配置下很稳定，也是单流 decode 能保持在一百六以上的原因。

3.5 并发扩展：4 → 6 → 8 流

这里数据有些缺失，不过因为最终判定 8 并发不划算，聚合速度只多 1–16%，单流却掉 22–33%；而且 8×200000 的 KV 池只够 5.5 条满长度会话，第 6–8 条要排队，所以就没有补了，请见谅。

6 并发把单流从 ~93 压到 ~67 tok/s（−24%），主机内存从 40 涨到 42 GiB，checkpoint 槽从 4.40 涨到 6.76 GiB；KV 池 8.40 GiB 意味着满 256K 的会话只能常驻 4.2 条，第 5、6 条要等。

但我这边测试下来除非陷入死循环，作为最后一段负责具体工作的 worker 基本不会用完 context ，所以就决定了 6 并发这个最适合我的数字。

3.6 MTP 投机深度：开到 3 还是 5

我让 AI 在 4K 上下文、6 并发下做了同文本对照，并且每次换一段合成文本，避免跨轮次命中前缀缓存：

最终可以看到虽然接受率不高，但深度 5 还是不亏，生产继续用 5。

• 同一段文本下，深度 5 每步多接受 0.26~0.36 个 token（+11%~14%），单流快 25%，6 并发聚合快 21%。
• 步级指标更干净（decode_step_seconds_best，32 步滑动窗）：深度 3 是 14.81 ms/步，深度 5 是 15.71 ms/步，只慢 6%，但每步多出 10%~14% 的 token，折算净收益约 +4%。端点测出来的 25% 里混了文本和请求级抖动，4% 这个数更可信。

最后

感谢老特把自己的白月光分享出来，让我及时上车了这张卡，也很感谢开源社区，感谢坛友的分享，大家放下争吵赶紧上车吧，现在留在车上比什么都重要