神了， 7900xtx 单卡prefill 3,570 tok/s decode 106.6 tok/s, Strata RDNA3 fork：安装、调优与 32K–256K 性能实测
-
-
-
@Eric-Seto 可以在优化一下，双7900XTX的262K上prefill上6000是没有问题的
-
@mudfox 怎么r9700 卖掉？ 现在应该最强amd 消费级卡
@applejuice 哈哈， 卖掉 9700 买 7900 搞不懂， 这不是负优化么？
-
@懒人烘培
哥，能给兄弟们单出一篇帖子吗？我让deepseek抄作业，一直抄不明白，就卡在5000死活上不去了 -
-
-
提升非常大，用了1个小时AI去配置。
抄作业结果fork 明显更快（prefill 2 倍、agent 循环 1.76 倍）
实测已经全部完成，数据写进运维手册第 9 节了。下面是优化前 vs 优化后的完整对比。
-
prefill：处理长提示词（tok/s，越高越好）
提示词长度 优化前 0.1.45 原配置 0.1.45 只把块调到 32K fork RDNA3
1 万 token 1,019 1,263（+24%） 2,090（+105%）
8 万 token 1,281 1,429（+12%） 3,129（+144%）
三次重复测量误差仅 ±0.3%（1,018.7 / 1,019.4 / 1,021.5），这组数字很硬。 关键结论：光把 prefill 块从 8192 调到 32768 只拿到 +24%/+12%，剩下的大头是 fork 的 RDNA3 内核真本事——我专门做了这个隔离实验，否则会把功劳记错。 -
decode：生成速度（tok/s，固定 seed、6 次中位数）
优化前 优化后 提升
短提示 66.5 74.1 +11.4%
3.2 万 token 提示 64.1 77.4 +20.7% -
真实 agent 循环（12 轮，每轮追加约 830 token，上下文涨到 2.68 万）
优化前 优化后 倍数
首轮冷 prefill 15.12 s 8.01 s 1.89×
稳态每轮 2.70 s 1.59 s 1.70×
12 轮总计 46.37 s 26.32 s 1.76×
这个才是你日常体感对应的场景（大部分请求是"恢复检查点 + 追加一小段"）。 -
一个重要的反向验证
我担心 fork 缺 --prompt-cache-spread（0.1.45 有，是我上次修长任务缓存抖动的开关），专门测了缓存命中：两边逐条完全相同（cached token 数 8396 / 28551 / 75576 一模一样）。所以这个差异在本机测不出影响，不是迁移障碍。 -
折算到你那个 140 步长任务
按之前统计的成本结构（prompt 读 5.12 h + decode 15.32 h = 20.4 h）：
prompt 部分：5.12 h → 约 2.3 h
decode 部分：15.32 h → 约 13.4 h（decode 只快 12-16%，且它占 75%）
合计约 20.4 h → 15.7 h，省 23%
也就是说：prefill 快 2 倍多非常可观，但你的长任务瓶颈其实在生成 token 数，换引擎能省四分之一，真正的大头还是要靠少生成。- 现在的状态
fork 正在跑（strata-fork.service），strata.service 已停止但仍是开机默认
所以现在重启会回到 0.1.45，不会留下半吊子状态
回滚一条命令：systemctl stop strata-fork && systemctl start strata
0.1.45 的配置我也加了 --prefill auto:32768（白捡 +24%/+12%，无代价），备份在 strata-iq3_s.json.before-prefill32k
代价：fork 是 0.1.43（比 0.1.45 旧）、没编译 vision（源码在 tools/vision/strata_vision.cpp，需要时能补编）、多占 16 GB 源码。
-
-
，
Y yi song 引用了 此主题
-
，A applejuice 引用了 此主题
-
-
@mudfox 怎么r9700 卖掉？ 现在应该最强amd 消费级卡
@applejuice 7900XTX 带宽高
-
@applejuice 7900XTX 带宽高
@rongda-weng fp8 算力不可忽视，新架构有优势
-
-
@mudfox 出了多少？ 我都想买
@applejuice 估计15000左右
-
抄作業中!先推一個
-
，
C CHIA AN YANG 引用了 此主题
-
，C CHIA AN YANG 引用了 此主题
-
我這邊正在進行測試，但我是Windows 11
我的Strata是託管在Antigravity下面，是IQ2，64K上下文，單卡RX7900XTX 24GB
Prefill提升巨大，但decode持平，主因是有一個補丁目前Windows沒有下面這些補丁，我看看能不能重新編譯windows版本的出來用
├── src/kernels/cuda/rdna_gr.cu <-- 【最核心】RDNA3 硬體級底層彙編優化
├── src/kernels/cuda/fused_gr.cu <-- 殘差連結 (Hyper-Connection) 算子融合
├── src/kernels/cpu/iq_avx512.cpp <-- PR #1 修復：AVX2 CPU 啟動防崩潰補丁
└── src/core/layer.cpp <-- 引擎調度層：註冊 STRATA_GR_RDNA 開關
-
戰況更新 - 單卡RX7900XTX，系統記憶體64GB DDR5
Windows HIP下的prefill chunk沒辦法開到32K，我這邊觀察到專家都被 purge 掉， SSD讀寫量異常高
目前是設定--prefill 7168
// #1630: Windows HIP, RX 7900 XTX: a first long prompt at 8192-token chunks
// charged ~70 GB of commit and killed the engine; 7500 and below were flat.
// A bare auto stops at 6144; a chunk the user names stays.我請Antigravity去編譯了C++補丁，順利在Windows下跑起來，以下是Gemini的原話，總共在我的環境做了這些事
STRATA_QFUSE=1：原始碼中完全內建（src/kernels/cuda/rdna_gr.cu 中的 q8_tail 量化融合，甚至被設為 RDNA3 的架構預設值！）。
STRATA_HIP_WMMA=1 & STRATA_SELECT_WMMA=1：啟用 7900 XTX 矩陣核心。
STRATA_GDN_CHUNKED=1：GDN 分塊循迴運算。
STRATA_PF_FUSED=1 & STRATA_PF_GEMM=1：Prefill 矩陣融合運算。
--prefill 7168 安全分塊：徹底防範 Windows HIP 記憶體洩漏與 SSD 讀取死鎖。
"parallel": 1 獨佔單 Slot：釋放 1.0 GB VRAM，使 GPU 專家快取擴張至 11,798 槽位（比官方的 11,484 還多了 314 個！）。目前Decode來到97 tok/s，prefill達到1118.8 tok/s，提升巨大，跑Hermes有感提升
還好當初有乖乖聽up主的話入手7900XTX，這買賣不虧，從Strata橫空出世以來，已經幫我幹了不少活...
Hermes自己測試的結果 (一致)
-
-
偷偷说一下，strata的最新版本0.1.55版本已经将RDNA3 fork的43个开关中的21个开关合并到了主版本，这是我单卡7900xtx的得分，环境是e5-2660v4，96G ddr4（4通道2400），单7900xtx，ml110gen9主板+nvme
目前主版本跟fork的区别只有 decode了，我主版本是103tokens（均值） ，而fork的版本是142tokens(均值）
大模型给出的结论是内核的原因
-
根据你文章复现了一下，速度挺快，就是经常报错，不知道是不是推理引擎有不过麻烦帮忙看看，这是ai分析的结论：
找到具体错误了：Strata 在生成阶段的第 36 层 verification 超时，释放 GPU 等待后又等了 5 秒，GPU 仍未完成，于是引擎被终止，当前请求返回 error；随后 Python 服务自动重载引擎并恢复。
这次不是单纯的 Codex 连接超时。另外，我之前的停机保护只监视 engine.log，而这条致命错误写在 lan-server.log，因此漏掉了它。我会补齐这处检测，并继续核对错误发生时间附近的内存和驱动记录。
-----------主机配置
机箱：DELL T7960 2200W工作站 机箱
处理器：INTEL W7-3565X CPU(82.5MB 缓存, 32核, 64线程,睿频至高可达 4.8GHz Turbo 335W)
内存：2条DELL 32G DDR5 5600RECC内存
硬盘：DELL 1T M.2 NVME固态硬盘（ M.2 PCIe 固态转转接卡）+DELL 4T 3.5英寸 5.4K SATA机械硬盘
其他：DELL 电源线，国标16A转C19，1.5米
附加固态硬盘：致钛tipro900 4t+tiplus 900 4t
显卡：rtx 4090d 48g -
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励！
