<![CDATA[7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3]]>7900 XTX 跑 125B MoE：prefill 2086→3205，decode 64.7→96.3

一张 Radeon RX 7900 XTX（24 GB），跑 Qwen3.8-Flash-Next 125B MoE，128K 上下文。

官方预编译引擎 prefill 2086 / decode 64.7，调优后 prefill 3205 / decode 96.3。

+54% 和 +49%。
———————人话分界线其他都是AI写的————————
说明一下这个2086/64.7是我昨天第一次调过后的成绩，strata开箱直接用的prefill肯定没有2086，我记得好像是不到1000还是1000多。总之就是人在一边看，AI自己干，调优全过程都是deepseek flash免费模型给我做的，我就在一边抽鞭子来着。
———————人话分界线其他都是AI写的————————

环境
GPU Radeon RX 7900 XTX，24 GB，gfx1100（RDNA3）
CPU Intel i7-13700KF
内存 64 GB
系统 Windows 11
模型 Qwen3.8-Flash-Next（abliterated），125B MoE，IQ3_S
上下文 131072
服务 strata，OpenAI / Anthropic 兼容 API

测试协议：27549 token prompt / 400 token 输出 / 各 3 轮。

本来是

官方组合：strata 预编译引擎 0.1.54 + hipBLASLt 100500 + 32 行社区调优表 + --lookup-chain 3 + --host-core sibling。

prefill（三轮） 中位 decode（三轮） 中位
2095.3 / 2069.1 / 2086.2 2086 65.5 / 64.2 / 64.7 64.7

27.5K 上下文要 13.2 秒才出第一个字。

调优措施

换引擎

自编译 RDNA3 fork 0.1.43（比官方的 0.1.54 更老，但更快），hipBLASLt 调优表从 100500 换成 100100，和 fork 的 ROCm 对齐。

38 个环境变量

矩阵乘

STRATA_HIP_WMMA=1              STRATA_SELECT_WMMA=1
STRATA_RDNA_MMVQ_WAVE=3        STRATA_PF_F16=2

Prefill 路径

STRATA_PF_GEMM=1               STRATA_PF_FUSED=1
STRATA_PF_PAD=1                STRATA_PF_GROUP_RES=1
STRATA_PF_HCDOWN=1             STRATA_PREFILL_AUTO_MAX=32768
STRATA_PREFILL_CPU_SHARE=auto  STRATA_PREFILL_CPU_SHARE_MAX=6144
STRATA_PREFILL_RING=192        STRATA_PREFILL_MMQ_TILE_ROWS=32

GDN（线性注意力）融合

STRATA_GDN_HEAD=1        STRATA_GDN_CHUNKED=1
STRATA_GDN_CHUNK_GDV=0   STRATA_GDN_PP=1
STRATA_GDN_CONVL2=1      STRATA_GDN_NOY=1
STRATA_FUSE_CONVAB=1

Attention 与 KV

STRATA_QSA_SPLIT_ATTN=1  STRATA_PA_KLDS=1
STRATA_PA_FAST=1         STRATA_KV_HOST_DMA=1

调度与流水

STRATA_QFUSE=1           STRATA_COMBINE_CPU=1
STRATA_WAIT_FUSE=1       STRATA_ROUTE_PUBLISH=1
STRATA_GR_INJ_UP=1       STRATA_GR_FUSED=1
STRATA_STAGER_RING=64    STRATA_HC_UPMIX=1
STRATA_HEAD_MIX_MULTI=1  STRATA_VERIFY_QDEDUP=1
STRATA_SH_STREAM=0       GPU_MAX_HW_QUEUES=6

引擎参数

--lookup-chain 3         --adapt-async 1
--kv-resident 32768      --ple-io direct
--ple-row-cache 1048576  --pcie-frac 0
--mtp-window 4096        --pool-workers 12
--vram-reserve-mib 1728  --host-core first
--kv int8                --spec 4
--spec-min-p 0.5         --max-context 131072

三个关键点

  • STRATA_PREFILL_AUTO_MAX 从默认 12288 提到 32768（官方日志里能看到它自动选了 12288，13K 以上上下文要分两次处理）。32768 是安全上限，65536 会崩。
  • STRATA_RDNA_MMVQ_WAVE=3 —— decode 收益的主要来源。预编译引擎不认这个变量，必须自编译。
  • --host-core first —— fork 不认 sibling，照搬官方配置的写法会启动失败。

现在是

prefill decode 相对本来
3205 96.3 +54% / +49%

三轮明细：prefill 3317 / 3205 / 3167，峰值 3313（背靠背第 2 轮）。

更长上下文（54.8K）：prefill 3308.8、decode 99.9 —— 上下文翻倍，速度不掉。

对比

本来 现在 提升
prefill @27.5K 2086 3205 +54%
prefill 峰值 2046 3313 +62%
decode @27.5K 64.7 96.3 +49%
prefill @54.8K — 3308.8 —
decode @54.8K — 99.9 —
27.5K 首字延迟 13.2 s 8.6 s -4.6 s

参考：一台 128 GB 内存的 Linux 机器同模型跑 3432 / 100.4，我们这台 64 GB 的 Windows 消费机到 93% / 96%。

Radeon RX 7900 XTX (gfx1100) / i7-13700KF / 64 GB / Windows 11 / Qwen3.8-Flash-Next abliterated IQ3_S / strata 0.1.43（自编译 RDNA3 fork）

]]>https://lcz.me/topic/2745RSS for NodeMon, 09 Nov 2026 07:39:52 GMTSat, 31 Oct 2026 13:49:52 GMT60<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Sun, 08 Nov 2026 05:00:52 GMT]]>qwen 3.8 flash netxt 首字token速度要几十秒,你们是这样吗

]]>https://lcz.me/post/31862https://lcz.me/post/31862Sun, 08 Nov 2026 05:00:52 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Thu, 05 Nov 2026 14:01:23 GMT]]>@空语 可以啊兄弟,比我厉害. 担心兄弟过的苦,又怕兄弟开路虎.

]]>https://lcz.me/post/31365https://lcz.me/post/31365Thu, 05 Nov 2026 14:01:23 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Mon, 02 Nov 2026 15:12:09 GMT]]>@J-Z-0

我是在ubuntu24.04.5 LTS中用的 IQ3_S, 所以内存很富裕。

记得某次agent进行了对比测试后给我的说法是，把ple io 设成 ram，对decode的速度几乎没有影响，反而因为要多读20多G数据到内存，增加了系统加载模型的时间。按默认的设置，由于专家命中率较高，所以运行中strata每次从ssd上仅仅读取很少的数据到内存，而且有预判的提前读取，对速度影响微乎其微。

尽管它这么说 ，但我还是坚持设为ram，至少strata运行时基本不读ssd了。IQ3_S比较小些，目前内存占用最多时约100G左右。

]]>https://lcz.me/post/30605https://lcz.me/post/30605Mon, 02 Nov 2026 15:12:09 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Mon, 02 Nov 2026 14:31:52 GMT]]>@Y-G-0 这个是可以的， 我的agent也真的干了， 成功了。rdna3 的作者这几天也有基于新引擎的更新， 我也都测试了。 不过我的问题是，我用128g内存跑Q4_K_XL. 0.1.43引擎可以把PLE io 设成ram （差不多还剩10g的ram余量）， 是最快的。 引擎从某个版本开始， 对内存占用提高了，结果就是只能选direct或mmap，否则就是OOM，把东西挤回硬盘， 都没有原版rdna3设成ram快。 我估计很长一段时间内， 我都没法更新了， 不过这样也比原版strata快不少， 7900xtx单卡， 干长活60tps， 写一段简单代码80+tps

]]>https://lcz.me/post/30595https://lcz.me/post/30595Mon, 02 Nov 2026 14:31:52 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Mon, 02 Nov 2026 13:53:47 GMT]]>@李野火 我默认就是开启思考的。要观测速度，我得等两天，因为这两天我在用一张AMD的超级老卡，驱动环境已经全换了，在重新编译Strata runtime，弄完了我换回7900再回复

]]>https://lcz.me/post/30585https://lcz.me/post/30585Mon, 02 Nov 2026 13:53:47 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Mon, 02 Nov 2026 02:53:29 GMT]]>可以帮试一下，开启思考模式，速度能有多少吗?

]]>https://lcz.me/post/30453https://lcz.me/post/30453Mon, 02 Nov 2026 02:53:29 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Sun, 01 Nov 2026 13:32:22 GMT]]>调的很优秀啊，windows下都能跑这么多

]]>https://lcz.me/post/30320https://lcz.me/post/30320Sun, 01 Nov 2026 13:32:22 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Sun, 01 Nov 2026 10:49:00 GMT]]>你指的是跟linux比吗，@RON-z 你继续抽他鞭子，他也能干成，说不定还干的更好

]]>https://lcz.me/post/30261https://lcz.me/post/30261Sun, 01 Nov 2026 10:49:00 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Sun, 01 Nov 2026 02:33:37 GMT]]>@空语 楼主你好，我把你这个贴子丢给dsh跑一遍，它给我这样回复了：
剩下那 24% 的 decode 缺口，只能拿到作者的 fork，或者自己改写 src/kernels/cuda/native_mmvq.cu 的 MMVQ 波前布局——那属于原创内核开发，不是复现了。
我的配置是7900xtx，cpu9700x，64g内存。感谢你的回复哈

]]>https://lcz.me/post/30046https://lcz.me/post/30046Sun, 01 Nov 2026 02:33:37 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Sat, 31 Oct 2026 17:12:02 GMT]]>@Y-G-0 谢谢谢谢～

]]>https://lcz.me/post/29952https://lcz.me/post/29952Sat, 31 Oct 2026 17:12:02 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Sat, 31 Oct 2026 16:46:13 GMT]]>@空语

以下全部来自实测日志（非估算），中位数取自每臂 2–3 次重复：

指标 0.1.45 原版 0.1.45 + RDNA3 env 0.1.45 + RDNA3 + 全套调优 升级至0.1.54 升级至0.1.55
4K prefill tok/s 1179 1997 2094 2041 2017
16K prefill tok/s 1766 2761 2805 2697 2710
32K prefill tok/s 1779 3029 3194 3074 3108
chat decode 中位 tok/s 78.2 79.2 80.5 77.1 82.7
agent decode tok/s 88.2 92.0 87.6 95.0 97.1
agent cache hit % — — 68.65 69.25 69.42

供参考。

]]>https://lcz.me/post/29947https://lcz.me/post/29947Sat, 31 Oct 2026 16:46:13 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Sat, 31 Oct 2026 16:03:43 GMT]]>@Y-G-0 真的吗明天试试看，毕竟用老引擎还得考虑将来升级的事

]]>https://lcz.me/post/29941https://lcz.me/post/29941Sat, 31 Oct 2026 16:03:43 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Sat, 31 Oct 2026 16:00:48 GMT]]>@懒人烘培 我很满足，出了3090本来有点落差，忽然补上去了，我3090之前prefill也不过2500+，Decode高一些，可惜4090夏天就出了，没赶上Strata。越用越倒退，省钱吃饭了哈哈

]]>https://lcz.me/post/29939https://lcz.me/post/29939Sat, 31 Oct 2026 16:00:48 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Sat, 31 Oct 2026 15:12:22 GMT]]>可以可以，windows下成绩也很好~

]]>https://lcz.me/post/29911https://lcz.me/post/29911Sat, 31 Oct 2026 15:12:22 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Sat, 31 Oct 2026 15:07:42 GMT]]>其实不必非得编译 RDNA3 fork 0.1.43，用strata的0.1.45和0.1.54都行，只要让agent去借鉴一下strata rdna3的参数配置，一样能达到差不多的这个速度，也不影响引擎的升级。

]]>https://lcz.me/post/29907https://lcz.me/post/29907Sat, 31 Oct 2026 15:07:42 GMT<![CDATA[Reply to 7900 XTX单卡：prefill 2086→3205，decode 64.7→96.3 on Sat, 31 Oct 2026 13:52:05 GMT]]>strata-rdna3-poster-AI版.png

]]>https://lcz.me/post/29887https://lcz.me/post/29887Sat, 31 Oct 2026 13:52:05 GMT