Qwen3.8 Flash-Next：Strata 引擎快得让我怀疑人生

️ 本文全部为我自己机器上的实测。

硬件：RX 7900 XTX 24GB + Ryzen 5 9600X + 64GB DDR5
系统：Ubuntu 24.04.4 / ROCm 7.2.3

本文后半部分会同时列出 llama.cpp、MoE4All infr 和 Strata 三套结果，但三套使用的量化不同，不能把绝对数字当成严格 apples-to-apples 比较。

0. 这次有点离谱

AI界有句名言 - 学得慢，就不用学了。

这两周一直在琢磨7900XTX跑Flash-Next甚至DeekSeek Flash本地大模型。结果忽然发现我测的速度实在是赶不上新技术冒出来的速度 。请看我这两周都经历了什么 ->

路线	引擎	量化 / 模型	GPU	结果概况
1	llama.cpp + Vulkan	GSQ-RCO Q2_0	单 7900 XTX	Prefill ~29.3，Decode ~13.2 t/s
2	MoE4All / infr	UD-Q2_K_XL	单 7900 XTX	Prefill ~248.9，Decode 16.57 t/s
3	llama.cpp + Vulkan	IQ4_XS	单 7900 XTX	最优 Prefill 150.8，Decode 17.88 t/s；长期服务约 8–14
4	MoE4All / infr 0.8/0.9	AD-4.27bpw Q4_K_M-M64	单 7900 XTX	131K：Prefill 672，Decode 32.2–35.3
5	Strata 0.1.27 + HIP	Orca / orcarouter IQ3_XXS	单 7900 XTX	Prefill 841–1271，Decode 50.9–59.2，254K 仍 841.5 / 52.1

之前的感觉一直是：

这种超大 MoE 能在单张 7900 XTX 上跑起来已经不错了。不求快，能用就行。

直到这两天我试了 Strata。结果： Decode 50～59 t/s。 更离谱的是 Prefill：最高 1270 t/s。 单卡，呀兄弟们，这是7900XTX单卡！

而且不是只有短 Context 跑得快。

上下文一直拉到： 254K Context 稳定得一匹

还能做到：

• Prefill：841.5 t/s
• Decode：52.1 t/s

我第一反应就是：

这是125B！这不是当年弱不禁风的Qwen3.6 35B A3B。

我第二反应就是：

TNND， 测得慢，就不用测了。。。 就好比起得晚，就不用起了。。。咳咳

1. 测试环境

模型：

orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF

实际使用：

• Qwen3.8-Flash-Next-Uncensored-IQ3_XXS-00001-of-00002.gguf
• Qwen3.8-Flash-Next-Uncensored-IQ3_XXS-00002-of-00002.gguf
• Qwen3.8-Flash-Next-Uncensored-MTP-draft.gguf

Strata 官方 ORCA 文档指定的也是：

IQ3_XXS

2. Strata 编译方法

仓库：

https://github.com/Niko1221/Strata

版本：

v0.1.27

git clone https://github.com/Niko1221/Strata.git
cd Strata
git checkout v0.1.27

我的 HIP 编译参数：

cmake -S <worktree> -B <worktree>/build-hip-mmq \
  -DCMAKE_BUILD_TYPE=Release \
  -DSTRATA_ENABLE_HIP=ON \
  -DSTRATA_ENABLE_CUDA=OFF \
  -DSTRATA_HIP_ARCH=gfx1100 \
  -DSTRATA_NATIVE_EXPERTS=ON \
  -DSTRATA_PREFILL_MMQ=ON \
  -DSTRATA_GGML_DIR=<repo>/third_party/llama.cpp \
  -DCMAKE_PREFIX_PATH=/opt/rocm-7.2.3 \
  -Dhip_DIR=/opt/rocm-7.2.3/lib/cmake/hip \
  -DHIP_ROOT_DIR=/opt/rocm-7.2.3

cmake --build <worktree>/build-hip-mmq -j$(nproc)

这里要注意：

Strata pinned llama.cpp 的 CUDA/MMQ 源码位置是：

third_party/llama.cpp/ggml/src/ggml-cuda/

不是：

third_party/llama.cpp/ggml-cuda/

路径搞错，configure 阶段就会报错。

3. IQ3_XXS 需要先做 Strata Pack

我先用官方工具把模型转换成 Strata 原生 pack：

python tools/iq_pack.py \
  --gguf <model>-00001-of-00002.gguf \
  --out <pack-dir>/iq3_xxs \
  --compat-bf16

生成内容包括：

• experts.bin
• native_experts.txt
• index.txt
• dense.bin
• extra.bin
• tokenizer/

其中：

experts.bin ≈ 53.5 GB

核心目的就是：

把专家权重整理成 Strata 自己适合高速访问的格式。

4. AMD 上还有一个关键步骤：hipBLASLt 本地校准

官方有 gfx1100 的 hipBLASLt tuning table。

但我这里：

• ROCm：7.2.3
• hipBLASLt runtime：100202

官方的：

• 100100
• 100200

都会因为版本不匹配被拒绝。

所以我在本机重新校准了一张：

gfx1100-hipblaslt-100202-local.txt

最终：

27 rows，全部校验 PASS。

启动前确认日志里出现：

hipBLASLt tuning enabled

否则不能算完整性能配置。

5. 我的最终运行参数

环境变量：

export LD_LIBRARY_PATH=/opt/rocm-7.2.3/lib:/opt/rocm-7.2.3/lib64

export ROCR_VISIBLE_DEVICES=0
export HIP_VISIBLE_DEVICES=0

export STRATA_PREFILL_MMQ=1
export STRATA_HIPBLASLT_TUNING=<本地校准表>
export STRATA_PREFILL_RING=96
export STRATA_IO_THREADS=32

关键 Strata 参数：

这里最关键的参数：

--resident-cpu-experts

它让专家真正常驻系统内存。

6. Strata 最终成绩

先看短 Prompt：

真正让我觉得离谱的是长 Context 曲线。

几个重点：

• 24K Prefill：1270.7 t/s
• 96K Prefill：1164.2 t/s
• 190K Prefill：1112.8 t/s
• 254K Prefill：841.5 t/s

Decode 从 1.5K 到 254K：

50.9～59.2 t/s

也就是说：

Context 拉到 25 万 token，Decode 仍然保持在 50 t/s 以上。

哦，你问我这个Flash-Next效果怎么样？ 下面两张图，一摸一样的数据，一摸一样的要求，左边的图是本次测试的Flash-Next Orca IQ3_XXS生成的，右边是我用27B Q4_K_M生成的，你更喜欢哪个？

7. 资源占用

Resident 模式：

所以这套配置虽然是：

单张 RX 7900 XTX

但真正工作的组合是：

24GB VRAM + 大约 32GB Resident Expert RAM

系统最好有：

64GB RAM

如果 resident 模式退化回 mmap / 磁盘读取，速度会明显下降。

8. 一个需要说明的小补丁

我的 Orca IQ3_XXS 是普通 GGUF quant。

Strata v0.1.27 对：

blk.1.ple_key.weight

的类型判断会误判。

因此我在独立 worktree 里做了一个很小的兼容修正：

- return include_ple_key && (tensor.type == 42 || tensor.type == 18 || tensor.type == 23);
+ return include_ple_key && tensor.type == 42;

生产 tree 没动。

这个补丁只用于：

让普通 IQ3_XXS GGUF 的 BF16 fallback 正确加载。

以后如果官方已经修正，就不需要再打。

9. 另外两套引擎成绩

为了知道 Strata 大概处于什么水平，我还测试过另外两条 Flash-Next 路线。

再次强调：

三套使用的量化不同，下面只是我自己机器上的实际结果汇总，不是严格公平跑分。

llama.cpp + Vulkan

模型：

IQ4_XS，97.5 GB

最优 bench：

实际长期服务：

8～14 t/s Decode

MoE4All infr 0.8 / 0.9 + Vulkan

模型：

AD-4.27bpw-Q4_K_M-M64，89 GB

131K Context：

10. 三套放在一起

还是那句话：

不同量化，不做严格横评。

但从我自己实际跑下来的结果看：

Strata 确实快得有点不讲道理。

11. 总结

本来以为我的单卡DanielMTP 27B已经够快的了。魔法打败魔法，Strata 横空出世，用Flash-Next 在7900XTX上跑出了真正生产力。