R9700单卡 Strata Qwen3.8-Flash-Next 125B 部署与Qwen3.8-27b-MXFP4对比

[terry]

非常不错的对比，下次结论先行，后补数据。

[Xiaote]

版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！

奖励凭证：精华 +5 分 · 编号 f2046-425-1（系统自动发放，显示稍有延迟）

[PhoenixRise2026]

感谢分享，这个测试对我很有参考价值。我这边也是 R9700 + Strata v0.1.34 + TheRock 7.10，最近在复现你的 Prefill 数据。

方便的话想请教几个细节：

你的 Strata 是官方 v0.1.34 原版吗？能否提供一下 commit SHA / 是否有本地 patch？

Prefill 时有设置 STRATA_PREFILL_ISSUER、STRATA_HIP_WMMA、STRATA_RESIDENT_PIN 或其他 STRATA_* 环境变量吗？

expert 是 --mmap-experts --resident-cpu-experts 这一路径吗？

测 PP 时能否确认 reused_tokens=0，也就是每次都是完整 fresh prefill？

我这边同机对比后，IQ3_S 反而比 IQ3_XXS 慢一些，主要差在 expert copy wait，所以比较想确认是不是运行参数或 expert 搬运路径还有差异。

再次感谢分享，如果方便贴一下实际启动参数就更好了。

[xiaopbro]

@PhoenixRise2026 我让hermes帮我回复的：

好，帮你整理一下我这边 Strata 的完整配置，逐条回答：

1. 版本 /commit
   v0.1.34 原版，无本地 patch（git diff --stat 为空）
   commit SHA: 1678de333d0e0711bc414ad992b640e1a37dd814
   BUILD.json: source: local-hip, version: 0.1.34, archs: [gfx1201], src: 807f12b2eed96139
   ROCm: TheRock 轮子 rocm-7.10.0a20251120（非系统 ROCm）
2. 环境变量
   没有设置 STRATA_PREFILL_ISSUER、STRATA_HIP_WMMA、STRATA_RESIDENT_PIN。
   日志里出现的 STRATA_* 只有两个（引擎内部提示，非我设的）：
   STRATA_HC_SPLIT=1（hyper-connection staged read，默认开启）
   STRATA_SSD_KEEPALIVE=0（SSD 保活，默认开）
3. Expert 路径
   不是 --mmap-experts --resident-cpu-experts。我这边用的是：

--expert-cache auto
--prefill auto
启动日志：
expert cache auto: 25.94 GiB free, 700 MiB reserved (+218 MiB for the draft head) -> 10100 slots
expert cache 13193 slots, 25.04 GiB of VRAM
R4 hit path ON - resident experts are computed on the GPU
17 expert-pool workers + the host thread
token graph hit path: 13193 resident experts, decided on the device
the prompt path borrows 2399 CUDA0 cache slots (4.56 GiB)
4. Prefill reused_tokens
全部 reused_tokens=0，每次都是 fresh prefill。日志样本：

prompt 40033 tokens = 0 reused + 40033 read in 44631 ms (897.0 tok/s)
prompt 18282 tokens = 0 reused + 18282 read in 23513 ms (777.5 tok/s)
prompt 8163 tokens = 0 reused + 8163 read in 12592 ms (648.3 tok/s)
prompt 22155 tokens = 0 reused + 22155 read in 27664 ms (800.9 tok/s)
prompt 34570 tokens = 0 reused + 34570 read in 41507 ms (832.9 tok/s)
5. 完整启动参数

--pack /home/finn/Strata-data/packs/iq3_s
--native /home/finn/Strata-data/models/IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf
--ple-gguf /home/finn/Strata-data/models/IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00002-of-00002.gguf
--expert-profile /home/finn/Strata/data/expert-profile.bin
--expert-cache auto
--prefill auto
--spec 4
--spec-min-p 0.5
--mtp /home/finn/Strata-data/mtp/rt
--max-context 131072
--kv int8
--kv-resident 32768
6. 硬件 / CPU
Xeon E5-2686 v4 @ 2.30GHz，单路 18 核（36 线程），单 NUMA
无 AVX-512，只有 AVX2 → 引擎日志明确提示 this CPU has no AVX-512: the expert kernels run on AVX-2
4 通道 DDR4-2133 全插
关于 IQ3_S vs IQ3_XXS 的 expert copy wait 差异
我这边只有 IQ3_S 的实测数据（prefill ~650-900 tok/s，decode ~53-82 tok/s）。IQ3_S 的 expert arena 是 46.84 GiB（IQ3_XXS 应该更小），expert cache 占 25 GiB VRAM。如果 IQ3_S 的 expert 搬运路径和 IQ3_XXS 不同（比如 cache 命中率、arena 大小影响 page fault 频率），那 expert copy wait 差异是合理的。
一个关键差异点：我这边 hugetlb 2 MB pages 可用（expert arena: cudaHostRegister PORTABLE ok; hugetlb 2 MB pages），这应该能减少 page fault 对 expert copy 的影响。你那边如果 MAP_HUGETLB unavailable（走 4KB pages），expert copy wait 可能会更明显。
可以对比一下：
你那边 expert arena 那行日志，看 hugetlb 是否可用
decode expert cache hit rate 我这边 79-93% 波动，你那边多少
prompt path borrows 的 slot 数量

[PhoenixRise2026]

感谢这么详细地整理，信息很有帮助。我这边先把目前能确认的说一下：

decode expert cache hit rate：我这边近期稳定在 98%～99% 左右，最新 ROCm 10.2 测试大约 99.0%～99.1%。

expert arena / hugetlb：我之前主要走的是 resident-cpu-experts 路径，和你这套完整 pinned expert arena 不完全一样。我需要回头核一下启动日志里有没有 MAP_HUGETLB / 4 KB pages 的明确记录。

prompt path borrow slots：这个我也准备从原始日志里把准确数字找出来再对比。

另外提供的这几组 fresh prefill 日志，大多在 650–900 tok/s 左右，和我之前测试 IQ3_S 的结果其实已经比较接近了。

方便的话，再请教一下原帖里大约 15K = 1191 tok/s 那次对应的原始日志，主要想确认是不是也是同一套启动参数和运行状态。

[Brian]

速度60-80t/s，prefill速度也不错，但是一个任务要干1个多小时，时间太长了，你们有感觉吗

[6cccccc]

@Brian 确实好久，怎么感觉比27B还久，虽然27B的速度上更慢一些

[applejuice]

@Brian 感觉思考还比27b 严重

[Brian]

@6cccccc 感觉MOE模型，速度不到100t/s以上，体验很不好，貌似有特殊的思考链设计

[xiaopbro]

@Brian 是的，经过一天的测试，确实比27b思考的久很多

[xiaopbro]

@Brian 由奢入俭难，用习惯100+的就回不去了

[xiaopbro]

https://github.com/Niko1221/Strata/releases

v0.1.38 已经发布了，其中对R9700做了优化，

v0.1.32 的 STRATA_HIP_WMMA=1 — R9700 prefill +36-51%（本人测试提升26%）

v0.1.36 的 STRATA_PF_FUSED=1 — IQ3_S prefill 有提升（默认关，IQ 系列 "about even"，本人测试了没提升）

v0.1.38 的 prefill 优化 — 通用提速