前言/致谢

首先真心感谢 hipfire 团队为 AMD / RDNA 社区做出的贡献。(还有hipEngine，BridgeSpec，llama-cpp-rdna-boosts，KVMem，MoE4All，AMD-AIM / sglang-radeon，Paiton vLLM plugin，以及更多长期为 AMD 本地 AI 推理生态默默投入时间和精力的开发者、研究者和社区大神们）

项目地址：https://github.com/warpfront/hipfire

最近感受到了来自于N卡阵营满满的“敌意” ，尤其是类似于nInfer这类的定向优化让我“醋意满满”（其实我也有N卡，哈哈）；甚至RDNA4 PRO R9700的优化也一日千里 —— 这个真么有，曾经买过一块又让我给退了，各种羡慕嫉妒恨。

昨天终于等到了 hipfire 的更新。连夜在单张 RX 7900 XTX 上测试 Qwen3.8-27B，hipfire DFlash 的表现惊艳，也让我感觉7900XTX终于又可以扬眉吐气，与时俱进了。

测试摘要

参考我之前关于本地模型测速口径的帖子：https://lcz.me/topic/2303

Highlights

• 8K：2682 tok/s Prefill + 169.4 tok/s Decode
• 32K：2377 tok/s Prefill + 134.6 tok/s Decode
• 64K：1913 tok/s Prefill + 119.5 tok/s Decode
• 8K DFlash 相对 AR：3.39×
• 高速甜点区：8K–64K

叠甲：本帖首先看的是推理引擎本身的 Cold Context 性能，不代表长期 Agent 的最终实际体验。实际 Agent 测试会另开一帖。

一、测试环境

注：同一 Context 档三条路线使用完全相同的 Prompt；表中 Actual Prompt 为 hipfire daemon 最终报告的 framed prompt_tokens。

二、DFlash 单卡完整结果

¹ τ（tau）为 官方hipfire daemon 报告的“每个 speculative cycle 平均接受的草稿 token 数”。数值越高，通常表示 speculative decoding 一次能连续接受更多草稿 token，但它 不等同于 acceptance rate，也不是 acceptance 百分比。

三、AR / MTP / DFlash 横向对比

为了看清 speculative decode 到底带来了多少提升，我同时测试了普通 AR 和 Native MTP K=8。

Decode

Prefill

几个比较明显的现象：

• AR 的基础 Decode 随 Context 增长下降得比较平缓；
• MTP 在 128K 已经因为 VRAM OOM 无法完成；
• DFlash 在 128K 仍然能维持 67.9 tok/s；
• 到 196K，MTP 和 DFlash 都在 Prefill 阶段 OOM，只有 AR 仍能运行；
• DFlash 的优势最明显地集中在 8K–64K；
• Prefill 并不是所有档位都由 DFlash 领先，16K 和 32K 的 AR Prefill 略高，但 DFlash 的整体 Decode 优势非常明显。

四、长上下文表现

从实测来看，我会把这套 DFlash 的高速甜点区暂时定在：

8K–64K

其中：

• 8K：169.4 tok/s
• 16K：157.2 tok/s
• 32K：134.6 tok/s
• 64K：119.5 tok/s

尤其是 64K，单卡 RX 7900 XTX 仍然可以做到：

1913 tok/s Prefill + 119.5 tok/s Decode

我认为这一点比单纯的 8K 峰值更有意义。

128K 仍然可以正常运行：

1267 tok/s Prefill + 67.9 tok/s Decode

不过从 64K 到 128K 已经出现明显掉速。

196K 下 DFlash 在 Prefill 阶段发生 HIP VRAM OOM，因此没有有效性能结果。本轮也没有通过降低 KV 精度、修改量化格式或源码来进一步压缩显存。实际生产环境里，可以把 Agent 的最大上下文限制在一个低于 OOM 边界的值；目前已确认 128K 可以正常运行，128K–196K 之间的具体安全上限后续还可以继续摸索，配合合理的 Context 压缩机制即可避免 Agent 撞上显存墙。

五、关于 τ、VRAM 和测试口径

这里特别说明几个口径问题。

1. τ 不是 Acceptance Rate

hipfire daemon 报告的 τ 是：

每个 speculative cycle 平均接受的草稿 Token 数

它不是 Acceptance 百分比。

当前 hipfire bench 汇总 JSON 没有提供 drafted / accepted 的原始总数，因此本文不推算 Acceptance Rate。

2. VRAM 是采样参考值

本文 VRAM 来自 hipfire daemon 遥测采样中的最大值。

它可以作为不同配置之间的参考，但：

不是独立高频显存监控得到的绝对峰值。

3. 测试是 Cold Context

这次主要测试模型和推理引擎本身的性能。

没有依赖 Radix Cache、Prefix Cache 或类似 KVMem 的跨请求上下文复用机制。

因此这些结果更接近：

一次新的真实 Prompt 送进模型后，Engine 本身能够做到什么速度。

这一点对后续 Agent 实测非常重要。

因为真实长期 Agent 场景下，除了 Prefill 和 Decode，本质上还要看：

• Prefix reuse
• Cache hit
• 多轮历史复用
• Tool latency
• 整体任务 wall time

这也是我准备下一篇实际使用测试重点看的内容。

六、部署与启动参数

参见附件：
7900 XTX 的可能性探索 单卡篇(五) 之 部署与启动参数.md

七、最后的说明和一点个人感想

单张 RX 7900 XTX，在 hipfire 的专项优化下，Qwen3.8-27B 的跑分表现达到了我历次 7900 XTX 单卡测试中的新高度。

从 Benchmark 看，目前数字确实相当惊艳：

8K Decode 169.4 tok/s，64K 仍有 119.5 tok/s；8K Prefill 2682 tok/s。

不过 Benchmark 成绩当然不等于真实生产体验。

本帖首先测试的是 Cold Context 下推理引擎本身的性能。下一步我会把这套模型真正接入 Agent 工作流，再单独分享实际使用中的表现，包括：

• Tool Calling
• Coding / Debug
• 多轮任务
• 实际任务完成时间
• 长上下文下的响应体验
• Prefix / Cache 缺失对实际 Agent 的影响 （注：官方已经有 PR 在提升 Prefix/Cache）
• 与我目前另一套单卡 FN IQ3 Agent 方案进行 A/B 对比

到时候再继续更新。

个人一点感想

先看看 RX 7900 XTX 和 RTX 3090 的硬件底子：

两张卡都有 24GB 显存、384-bit 总线、接近 1TB/s 的显存带宽，功耗也处于同一级别。

7900 XTX 的硬件规格本身一直不弱。过去在本地 AI 推理上的主要差距，更多来自 CUDA、Tensor Core，以及 NVIDIA 阵营长期积累的 AI kernel 和软件生态。

所以这次 hipfire 最让我欣慰的地方，是：

终于开始有软件真正把 RDNA3 本身的硬件潜力往 AI 推理方向挖出来。

Newegg 当前新卡价格参考

这里比较的是 当前 Newegg 新卡挂牌价，不能代表二手市场。

3090 有 NVLink 和成熟 CUDA 生态的天然优势；7900 XTX 则胜在仍有新卡保修、24GB 显存，以及相对更低的新卡价格。

而随着 Strata 的应运而生，以及 hipfire 这类面向 RDNA3 的专项优化逐渐成熟，7900 XTX 的 24GB 显存、接近 1TB/s 的显存带宽，也终于开始越来越充分地转化为实际的本地 AI 推理性能。

这也是我持续更新这个“7900 XTX 的可能性探索”系列的动力之一：把自己的折腾和测试结果分享出来，回报论坛和社区，也顺便看看这张卡的潜力究竟还能被挖到哪里。

无它，不是哥们买不起( ），而是折腾7900 XTX 更有性价比。