神了， 7900xtx 单卡prefill 3,570 tok/s decode 106.6 tok/s, Strata RDNA3 fork：安装、调优与 32K–256K 性能实测

[gao Gao]

我怎么感觉性能已经超过 3090了

[yi song]

提升非常大，用了1个小时AI去配置。
抄作业结果

fork 明显更快（prefill 2 倍、agent 循环 1.76 倍）

实测已经全部完成，数据写进运维手册第 9 节了。下面是优化前 vs 优化后的完整对比。

1. prefill：处理长提示词（tok/s，越高越好）
   提示词长度 优化前 0.1.45 原配置 0.1.45 只把块调到 32K fork RDNA3
   1 万 token 1,019 1,263（+24%） 2,090（+105%）
   8 万 token 1,281 1,429（+12%） 3,129（+144%）
   三次重复测量误差仅 ±0.3%（1,018.7 / 1,019.4 / 1,021.5），这组数字很硬。 关键结论：光把 prefill 块从 8192 调到 32768 只拿到 +24%/+12%，剩下的大头是 fork 的 RDNA3 内核真本事——我专门做了这个隔离实验，否则会把功劳记错。

2. decode：生成速度（tok/s，固定 seed、6 次中位数）
   优化前 优化后 提升
   短提示 66.5 74.1 +11.4%
   3.2 万 token 提示 64.1 77.4 +20.7%

3. 真实 agent 循环（12 轮，每轮追加约 830 token，上下文涨到 2.68 万）
   优化前 优化后 倍数
   首轮冷 prefill 15.12 s 8.01 s 1.89×
   稳态每轮 2.70 s 1.59 s 1.70×
   12 轮总计 46.37 s 26.32 s 1.76×
   这个才是你日常体感对应的场景（大部分请求是"恢复检查点 + 追加一小段"）。

4. 一个重要的反向验证
   我担心 fork 缺 --prompt-cache-spread（0.1.45 有，是我上次修长任务缓存抖动的开关），专门测了缓存命中：两边逐条完全相同（cached token 数 8396 / 28551 / 75576 一模一样）。所以这个差异在本机测不出影响，不是迁移障碍。

5. 折算到你那个 140 步长任务
   按之前统计的成本结构（prompt 读 5.12 h + decode 15.32 h = 20.4 h）：

prompt 部分：5.12 h → 约 2.3 h
decode 部分：15.32 h → 约 13.4 h（decode 只快 12-16%，且它占 75%）
合计约 20.4 h → 15.7 h，省 23%
也就是说：prefill 快 2 倍多非常可观，但你的长任务瓶颈其实在生成 token 数，换引擎能省四分之一，真正的大头还是要靠少生成。

6. 现在的状态
   fork 正在跑（strata-fork.service），strata.service 已停止但仍是开机默认
   所以现在重启会回到 0.1.45，不会留下半吊子状态
   回滚一条命令：systemctl stop strata-fork && systemctl start strata
   0.1.45 的配置我也加了 --prefill auto:32768（白捡 +24%/+12%，无代价），备份在 strata-iq3_s.json.before-prefill32k
   代价：fork 是 0.1.43（比 0.1.45 旧）、没编译 vision（源码在 tools/vision/strata_vision.cpp，需要时能补编）、多占 16 GB 源码。

[tom23]

我要抄作业了，感谢分享

[rongda weng]

@applejuice 7900XTX 带宽高

[applejuice]

@rongda-weng fp8 算力不可忽视，新架构有优势

[applejuice]

@mudfox 出了多少？ 我都想买

[rongda weng]

@applejuice 估计15000左右

[CHIA AN YANG]

抄作業中!先推一個

[James Pang]

我這邊正在進行測試，但我是Windows 11
我的Strata是託管在Antigravity下面，是IQ2，64K上下文，單卡RX7900XTX 24GB
Prefill提升巨大，但decode持平，主因是有一個補丁目前Windows沒有下面這些補丁，我看看能不能重新編譯windows版本的出來用
├── src/kernels/cuda/rdna_gr.cu <-- 【最核心】RDNA3 硬體級底層彙編優化
├── src/kernels/cuda/fused_gr.cu <-- 殘差連結 (Hyper-Connection) 算子融合
├── src/kernels/cpu/iq_avx512.cpp <-- PR #1 修復：AVX2 CPU 啟動防崩潰補丁
└── src/core/layer.cpp <-- 引擎調度層：註冊 STRATA_GR_RDNA 開關

[James Pang]

戰況更新 - 單卡RX7900XTX，系統記憶體64GB DDR5
Windows HIP下的prefill chunk沒辦法開到32K，我這邊觀察到專家都被 purge 掉， SSD讀寫量異常高
目前是設定--prefill 7168
// #1630: Windows HIP, RX 7900 XTX: a first long prompt at 8192-token chunks
// charged ~70 GB of commit and killed the engine; 7500 and below were flat.
// A bare auto stops at 6144; a chunk the user names stays.

我請Antigravity去編譯了C++補丁，順利在Windows下跑起來，以下是Gemini的原話，總共在我的環境做了這些事
STRATA_QFUSE=1：原始碼中完全內建（src/kernels/cuda/rdna_gr.cu 中的 q8_tail 量化融合，甚至被設為 RDNA3 的架構預設值！）。
STRATA_HIP_WMMA=1 & STRATA_SELECT_WMMA=1：啟用 7900 XTX 矩陣核心。
STRATA_GDN_CHUNKED=1：GDN 分塊循迴運算。
STRATA_PF_FUSED=1 & STRATA_PF_GEMM=1：Prefill 矩陣融合運算。
--prefill 7168 安全分塊：徹底防範 Windows HIP 記憶體洩漏與 SSD 讀取死鎖。
"parallel": 1 獨佔單 Slot：釋放 1.0 GB VRAM，使 GPU 專家快取擴張至 11,798 槽位（比官方的 11,484 還多了 314 個！）。

目前Decode來到97 tok/s，prefill達到1118.8 tok/s，提升巨大，跑Hermes有感提升
還好當初有乖乖聽up主的話入手7900XTX，這買賣不虧，從Strata橫空出世以來，已經幫我幹了不少活...

Hermes自己測試的結果 (一致)

[kuntask]

偷偷说一下，strata的最新版本0.1.55版本已经将RDNA3 fork的43个开关中的21个开关合并到了主版本，这是我单卡7900xtx的得分，环境是e5-2660v4，96G ddr4（4通道2400），单7900xtx，ml110gen9主板+nvme

目前主版本跟fork的区别只有 decode了，我主版本是103tokens（均值） ，而fork的版本是142tokens(均值）
大模型给出的结论是内核的原因

[李野火]

@kuntask 你跑的是什么模型，Qwen3.8-Flash-Next IQ3_S吗？

[zzsoszz]

根据你文章复现了一下，速度挺快，就是经常报错，不知道是不是推理引擎有不过麻烦帮忙看看，这是ai分析的结论：

找到具体错误了：Strata 在生成阶段的第 36 层 verification 超时，释放 GPU 等待后又等了 5 秒，GPU 仍未完成，于是引擎被终止，当前请求返回 error；随后 Python 服务自动重载引擎并恢复。

这次不是单纯的 Codex 连接超时。另外，我之前的停机保护只监视 engine.log，而这条致命错误写在 lan-server.log，因此漏掉了它。我会补齐这处检测，并继续核对错误发生时间附近的内存和驱动记录。

-----------主机配置
机箱：DELL T7960 2200W工作站 机箱
处理器：INTEL W7-3565X CPU(82.5MB 缓存, 32核, 64线程,睿频至高可达 4.8GHz Turbo 335W)
内存：2条DELL 32G DDR5 5600RECC内存
硬盘：DELL 1T M.2 NVME固态硬盘（ M.2 PCIe 固态转转接卡）+DELL 4T 3.5英寸 5.4K SATA机械硬盘
其他：DELL 电源线，国标16A转C19，1.5米
附加固态硬盘：致钛tipro900 4t+tiplus 900 4t
显卡：rtx 4090d 48g

[kuntask]

@李野火 是的Qwen3.8-Flash-Next IQ3_S

[Grayson Ren]

x99 - 7900xtx 实测提速很多 感谢分享

[M1560015]

调优完毕，确实提升明显！

[M1560015]

@Data-Wu 这是什么平台，预填充站上3700，解码站上170？

[拐子001]

作业已经抄完了。
三处按本机硬件适配（其余照抄）

• --pool-workers 49：本机 50 物理核，帖子规则是“≈物理核数、host 线程另算”
• --conversation-cache 16384/8：本机 115GB 内存；帖子用 2048/2 是因为其机器只有 62GB
• hipBLASLt 表用 100200：本机无系统 ROCm 10.1，只有 venv 内 TheRock ROCm 7.10；100401 表选了会被静默丢弃
  实测（256 token 输出、cache_n=0、稳态）
  档位 prefill decode 草稿接受 帖子参考
  32K 3,257 128.3 75% 3,511 / 100.6
  64K 3,372 125.3 72% 3,571 / 106.6
  128K 3,249 100.6 69% 3,601 / 101.2
  256K 3,132 82.2 68% 3,336 / 95.5
  对比改造前官方 0.1.57：32K prefill +14.9%、decode +6.6%；128K prefill +3.5%。