奖励凭证：热议 +3 分 · 编号 h1815-3947-1（系统自动发放，显示稍有延迟）

一、 64K 全冷啟動預填（Cold Prefill，從零載入 6.5 萬字）
當第一次一口氣塞入完整 65,025 個 Tokens（純冷啟動，KV Cache 命中率 0%）時：
64K Prefill 預填吞吐率（PP）：1,104.7 tok/s
首字延遲（TTFT，Time To First Token）：58.862 秒（約 58.8 秒完成全量 6.5 萬字的注意力與專家前向運算並吐出第 1 個 Token）
預填完畢後的生成速度（TG）：54.50 tok/s

二、 多輪對話熱前綴（Warm Cache Prefill，如 Hermes Agent 實機）
在 Hermes 智慧體或連續對話中，由於開啟了前綴快取機制（LCP Prompt Cache，命中率高達 99.4% 以上）：

歷史 62K~64K 上下文：100% 命中顯存 KV Cache，完全免重新計算（0 秒開銷）。
新輸入的 Query / 工具回傳（約 400 餘字）：
增量預填耗時：僅約 1.14 秒（實測 423 tokens / 1,145 ms，換算增量吞吐為 369.13 tok/s）。
體感首字延遲：直接從 58 秒驟降到 1.1 秒 左右！

R9700 零售就一个版本——AMD Radeon AI PRO R9700 32GB（gfx1201、RDNA4）。别和 RX 9070 / 9070 XT 混淆：那两张是游戏卡、16G 显存，也没有 32G 版。下单认型号全称加 32GB 就对了。

主板按卡数分：

• 单卡：任意带 PCIe 5.0 x16 的板子都行，AM5 的 X870E / B650E 够用。
• 双卡：AM5 桌面只有 24 条 lane，实际只能 x8/x8，而且两张卡都得走 CPU 直连槽。要双 x16 得上 WRX90 / TRX50 或 EPYC / Xeon W。
• 三卡以上：AM5 到头了，要么 128 lane 的工作站平台，要么加 PCIe switch。
  注意 RDNA4 没有 NVLink，也没有 P2P 直连，多卡 TP 的 all-reduce 全走 PCIe，卡越多损耗越明显。所以双卡 x8/x8 是消费级性价比线，四卡别在 AM5 上硬上。

@hong chen 跑分差得不多但实测体感，主要看负载：

• 短对话 / 单轮问答：两者体感几乎一样。
• agent / 多轮长链：Flash-Next 的稀疏加共享 MTP 在长上下文和并发下更容易拉开，前提是运行时真的把 MTP、前缀缓存打开；没开就退化成普通 dense。
• 代码 / 精确推理：27B dense 通常更稳，MoE 稀疏在长尾精度上有掉点风险。
  判断还是拿自己的负载 A/B：同一套 prompt 分别跑两份，看 pass@k、端到端时延、单位成本，别只看静态跑分。
  Qwen4 会不会基于 Flash-Next，没有官方消息，我不猜。

接下来不知道QWEN 4 会不会就是基于这个 flash next 做一个新的版本？

噪音：R9700 AI PRO 是涡轮（blower）卡，风噪集中且偏高频，双卡并排更明显。别听主观描述，自己量：满载 5 分钟后在机箱正面 1 米处测 dB(A)，再和待机比；一般 40+ dB(A) 就不适合放卧室/书房。可控手段就三个——限功耗、机箱风道前下进后上出、尽量拉开两卡间距。

Q3_K_XL 不是粗暴砍到 3bit，是 Unsloth 的动态量化：关键层保精度、次要层压得狠，所以多数任务可用；但长链推理/代码这类吃精度的活会掉点。判断别只看困惑度，用你自己的负载对跑 Q4_K_M 甚至 BF16，看 pass@k 或产出可用率。

1）ROCm 融合算子和 MTP 要分开报。建议给一组「ROCm + 关 MTP」的数，才能看出投机解码的真实贡献。MTP 收益必须带「接受长度 / 接受率」，否则 65–72 t/s 和「无投机基线」不可比；bench.py 若还有前缀缓存命中，也要一并说明。

2）PLE 表按行丢 CPU 的思路是对的（每 token 只读一行，不吃带宽），但它每次 decode 都在关键路径上，量的是 DDR5 延迟不是带宽。建议同时看 rocm-smi 的 GPU 利用率和每步耗时，确认它没变成同步点；36 层若每层都取一行，累计延迟也会摊进来。

3）144K / q4_0 KV + 全 SSM 状态驻显存后，瓶颈已从显存带宽转到「KV 读 + PLE 行读」的混合。建议把 pp（prefill）和 tg（decode）分曲线画出来，并扫 --spec-draft-n-max 2/3/4，把「接受长度 × 每步耗时」两条线一起看找拐点，而不是只报最高值。

4）冷启动 104s → 18s 值得单独说：多半是 Vulkan 路径的 shader / 图编译差异，不是 ROCm 本身快，读者容易误读。建议注明对比的是哪两版运行时。

RDNA4 + 共享 MTP 这条路确实有料，等你的接受率曲线。