给梁圣冲了30块，狠狠地搞了一下dflash2的优化，现在基本差不多满意了，pp变化不大，但是tg比mtp提速了25%左右，还是很爽的。

运行方式和之前一样, pull一下之前的代码：https://github.com/StevenChenSE/sglang/blob/gfx1100-support/README.zh-CN.md
找你最爱的LLM agent harness 重新build一下SGLANG 引擎和kernel，下载对应的dflash2 drafter:

• 推荐这个：https://huggingface.co/syvai/Qwen3.8-27B-DFlash2-W4A16 节省~2GB显存，实测速度和精度没有损失
• 原版也可以：https://huggingface.co/incoai/Qwen3.8-27B-DFlash2

Disclailmer: 标题所说速度是仅仅在极短上下文，特定workload下有效，中等长度prompt (16k-32k)的decode速度大概在90-150tok/s之间。
先秀一下：

做数学题：（200-220）

写代码：（180-250tok/s)

普通问答(英文）：(90-120 token/s)

普通问答(中文）：(70-90 token/s)

最后贴一下benchmark测试：

实测性能基准对比

全部基准均在双卡 RX 7900 XTX (TP=2) 实机测试，运行 Qwen3.8-27B-W4A16 模型。
SGLang DFlash2 列于 2026-09-11 在当前构建上刷新（65b16b3df7，Prefill 第 1–5 轮
迭代 + 热 L2 Autotune 修复；llama-benchy 0.4.0，--no-cache 全新提示词，
每个深度取 3 次运行均值）；数学与 120k 回放为单次运行。MTP-3 列与 c=4 取自
2026-09-09 套件（较早构建）。
vLLM 基线列为早期实测数据，如需精确对比请使用相同工具版本重新压测。
上方 DFlash2 列运行 W4A16 草稿模型（自 2026-09-08 起经 zz-w4a16-draft.conf
systemd drop-in 成为生产默认；KV 容量增至 214,284 tokens）。同日同构建的 bf16
草稿模型对照实测为：数学 181.0 tok/s / 120k 回放均值 119.3 tok/s / 深度均值
114.3 tok/s（池容量 189,172）——全面等于或低于 W4A16 列，故维持 W4A16。
第 5 节保留 2026-09-10 的 W4A16 原始验证记录及其取代的 bf16 列。

1. 标准化上下文深度衰减测试 (llama-benchy)

标准 Prompt Prefill ($PP=2048$) 与 Token Generation ($TG=128$), 并发数 = 1

MTP-3 对比 vLLM MTP-3：+5.6 / +8.2 / −7.9 / +3.0%（2026-09-09 构建）。DFlash2 于 2026-09-11 刷新：深度 0 绝对速度较 09-09 读数 +19%（128.3 对 107.9），16k 深度 +3.5%（108.8 对 105.1）；留存率比值读数偏低仅因深度 0 基线涨幅大于深上下文点位（本机单次采样波动约 ±15 tok/s，4k 点位恰逢波峰）。DFlash2 对比 vLLM DFlash2：+80.5 / +99.9 / +57.1 / +74.9%。

2. 真实 120k Agent 多轮会话回放（16 轮离散交互）

采样自真实 120k 长文本 Agent 对话（332 $\to$ 120,443 tokens），启用 Radix 前缀缓存

MTP-3：较 vLLM MTP-3 平均提速 +40.9%、平稳度 3.9 倍、保底速度 4.3 倍（2026-09-09 构建）。DFlash2 于 2026-09-11 刷新：较 vLLM DFlash2 平均提速 +74.7%（118.7 对 67.96），平稳度 1.5 倍，保底速度较 09-09 读数 40.6 提升 40% 至 56.9。注意事项：最后一轮 120k 的前缀缓存命中降至 32%（09-09 启动约 93%），导致该轮 TTFT 膨胀至约 91 秒（TG 仍保持 56.9 tok/s）——当前显存池布局下 120k 前缀树驻留比例下降。

3. 数学思维链推理测试 (GSM8K & MATH-500)

Greedy 贪婪采样，temperature = 0.0，max_tokens = 1024

SGLang DFlash2（同一测试套件，2026-09-11 刷新）：

DFlash2 数学生成速度较 09-09 读数快约 70%（193.2 对 166.0 tok/s；两次套件运行复现
193.15 / 193.62），TTFT 在更长提示词下保持平稳，但 GSM8K #1 在贪婪采样下仍会失误
（答 96，正确 72）——这是其窗口式草稿路径在量化稠密 GEMM 上的已知权衡；MTP-3 四题全对。

4. 多并发吞吐实测 ($c=4$)

使用 llama-benchy 进行多并发请求压测 ($PP=2048, TG=128$, Depth 0)

多并发核心结论：SGLang 两套推测解码在 RDNA3 上 4 并发均保持 100% 稳定——无非法显存访问、无图捕获失败（vLLM 原生 MTP-3 在 batch > 1 时仍会崩溃）。DFlash2 以 92.1 tok/s 总生成吞吐领先（较 vLLM 无投机基线 +10.8%，较 vLLM DFlash2 +21.3%），峰值 146 tok/s；MTP-3 为 78.5 tok/s。vLLM 基线列为旧版 llama-benchy 实测，引用精确跨引擎对比前请用 0.4.0 重新压测基线。

5. W4A16 草稿模型（syvai/Qwen3.8-27B-DFlash2-W4A16，融合 KV）

2026-09-10，同一硬件与 llama-benchy 0.4.0。深度曲线与 120k 回放在无外部流量的
隔离端口实测；数学、c=4、深上下文与多模态取自 2026-09-09 套件（顺序 KV 路径——
准确率与该路径无关，融合 KV 仅影响草稿上下文 KV 构建）。

深度曲线（PP=2048/TG=128，c=1；两次运行取平均，16k 为三次采样均值）：

本机单次采样 TG 波动约 ±15 tok/s（深度 0 的背靠背采样分别读得 101.7 与 136.1），解读单点数据时请保留该误差量级。在同一隔离端口关闭融合 KV 后，16k 均值降至 88.1 tok/s——融合 KV 在深度场景带来约 +11% 收益，并将与 bf16 草稿模型的 16k 留存率差距基本抹平。

120k Agentic 会话回放（两次运行，融合 KV）：平均 88.6 tok/s、中位数
82.8 tok/s、CV 25.3%、最差轮次 52.5 tok/s——2026-09-09 的 bf16 草稿
模型为 83.8 / 79.8 / 23.0% / 40.6；2026-09-11 单次复测中 bf16 / W4A16 的均值
分别为 119.3 / 125.5 tok/s。平均速度持平或略优。

数学思维链（greedy，单次运行）：3/4 正确——与 bf16 草稿模型出现 相同的
GSM8K #1 失误（答 96，正确 72），量化草稿模型未带来额外精度损失。平均 TG
148.9 tok/s（63 token 的 GSM8K #1 短答案拉低均值至 54.0 tok/s；其余三题
为 155–200 tok/s）。

深上下文扩展（单次运行，10k→160k TG）：78.4 / 117.3 / 90.4 / 86.1 / 60.1 /
39.0 tok/s——约 80k 之后 TG 开始衰减，与该窗口式草稿家族的长上下文行为一致。

c=4 多并发： 总 TG 89.3 tok/s、峰值 121 tok/s、PP 1,266 tok/s、
100% 稳定（bf16 草稿模型：92.1 / 146.0 / 1,275.5）。

多模态矩阵： 单图 / 多图与多轮交错工作负载均无循环 / 格式缺陷。