7900 XTX 的可能性探索｜单卡篇（四）：魔法打败魔法 - 7900XTX Strata 引擎跑Qwen3.8 Flash-Next 快得让我怀疑人生
-
@Prio 我个人觉得decode 有50+ 就够了
希望prefill 能上3000，至少有2000 才舒服
-
-
-
-
-
-
@kenshin 我也是64G内存，我这边在 7900 XTX + Strata 跑 Flash-Next 也踩过这个坑， 一开始测试的时候也是报内存不够，调整了几次就好了。
Strata 的 --resident-cpu-experts 模式启动时对 系统 RAM 可用量要求很高，不是看你“装了多少 RAM”，而是看启动瞬间还有多少 available memory。
我这边 Orca IQ3_XXS 的实测大概是：- expert resident RAM：约 31.95 GiB
- prefill borrow：约 3.92 GiB
- 再加模型运行、page cache、Strata 本身以及安全余量
实际建议启动前至少留出 约 50 GiB 可用 RAM。
我这台机器只有 64GB RAM，所以如果另一张卡上的 27B 服务、Hermes 或其他进程也在吃内存，Strata 就很容易在加载阶段失败，或者退回 mmap 路径，性能会明显掉。
我最后的办法不是乱调参数，而是：
- 先看 MemAvailable，不要只看总内存。
- 启动 Strata 前先卸载/停掉占系统 RAM 很多的其他模型。
- 确保 swap 不在疯狂工作；能启动但一直 swap，速度也会很难看。
- 如果要跑我们那套高性能配置，尽量保留：
--resident-cpu-experts - 实在内存不够，可以不用 resident CPU experts、改走 mmap/streaming，但这是“能跑”的方案，不是我们测到 1000+ Prefill 的那套性能方案。
其实都是我的本地Agent在搞，我就是一直给它鼓励和压力，它就自己搞出来了，哈哈
-
@xiaopbro 这个看起来不像是 R9700 跑不了 Strata。我问了下 AI，更可能是 gfx1201 这边的编译 / ROCm 环境有问题。
Strata 现在已经正式支持 R9700 / gfx1201，官方也有 R9700 实机跑通的记录。现在比较靠谱的路线，一个是 system ROCm 7.14，另一个就是直接走 Strata setup 自带的 TheRock 7.10 gfx120X。
你现在这套是 ROCm 7.2.1 + clang 22，而且 stall report 已经显示 GPU kernel 基本没正常跑起来。要不要考虑先换到 Strata 官方推荐的 TheRock / gfx120X 环境再重新编一次试试？
对了，我的 7900 XTX 那套手工 ROCm / hipBLASLt / WMMA 参数别原样照搬过去，那套是针对 gfx1100 调的，gfx1201 不是一回事。
-
@xiaopbro 这个看起来不像是 R9700 跑不了 Strata。我问了下 AI，更可能是 gfx1201 这边的编译 / ROCm 环境有问题。
Strata 现在已经正式支持 R9700 / gfx1201，官方也有 R9700 实机跑通的记录。现在比较靠谱的路线，一个是 system ROCm 7.14，另一个就是直接走 Strata setup 自带的 TheRock 7.10 gfx120X。
你现在这套是 ROCm 7.2.1 + clang 22，而且 stall report 已经显示 GPU kernel 基本没正常跑起来。要不要考虑先换到 Strata 官方推荐的 TheRock / gfx120X 环境再重新编一次试试？
对了，我的 7900 XTX 那套手工 ROCm / hipBLASLt / WMMA 参数别原样照搬过去，那套是针对 gfx1100 调的，gfx1201 不是一回事。
-
-
@xiaopbro 哦太好了，恭喜恭喜！我最近注意到，R9700 这条 RDNA4 / gfx1201 线的优化进展，感觉明显比 RDNA3 / gfx1100 快不少。很多新 kernel、WMMA、ROCm 适配好像都是先照顾 RDNA4。你这边如果把编译环境理顺，后面应该还有不少性能可以挖。
-
-
-
-
，
T terry 固定了此主题
-
-
-
-
，系统 取消固定了此主题
版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！