机器：ubox（X99-TF）｜ 日期：2026-11-02 ｜ 引擎：原版 0.1.52-linux-x86_64-hip-rx7900（预编译） vs nicejunjie/Strata-rdna3 @ 81cbfdb（含 PR #1），engine 0.1.43
模型：Qwen3.8-Flash-Next IQ3_S（同一份 GGUF，两套引擎共用），256K 上下文，int8 KV，MTP 草稿头
GPU：单张 RX 7900 XTX 24 GiB（gfx1100，PCIe 3.0 x16）｜ CPU：Xeon E5-2678 v3，12 核 24 线程，Haswell，无 AVX-512

0. 摘要

同一台机器、同一个模型文件，只换引擎：

※ 全部为 3 次中位数，温度 0、seed 42、每次唯一 salt 保证 cache_n = 0（无前缀复用）。数据为引擎自带 timings 字段，非客户端计时。

一句话：读满 24 万 token 从 3 分半缩到 1 分 16 秒，出字快约 27%；Agent 多轮里冷启动轮从 18.8 秒降到 8.9 秒，有缓存的轮次从 3.3 秒降到 2.5 秒。质量侧 69 道客观判卷题两边打平（各 65/69，错的是同一批题）。

1. 测试环境

硬件

软件

2. 安装（fork 特有的三个坑）

2.1 源码

git clone 从国内直连会断流（early EOF / invalid index-pack），改用 tarball 一次成功：

aria2c -x8 -s8 -o strata.tar.gz \
  "https://codeload.github.com/nicejunjie/Strata-rdna3/tar.gz/refs/heads/rdna3"
tar xzf strata.tar.gz -C Strata-rdna3 --strip-components=1

2.2 必须用 PR #1（AVX-512 的坑）

分支头（2026-11-01 之前）编译出来能过，但一启动就 SIGILL：

$ ./engine/strata --version
Illegal instruction (core dumped)

定位：src/kernels/cpu/iq_avx512.cpp 用 -mavx512f -mavx512bw -mavx512vl -mavx512dq -mavx512vnni -mavx512vbmi 单独编译，且其查表初始化在静态初始化阶段执行，早于 ISA 派发。STRATA_FORCE_ISA=avx2、STRATA_FORCE_AVX2=1 都救不回来。

作者已于 2026-11-02 02:13 合并 PR #1（把查表初始化推迟到函数内、探测代码按非 AVX-512 编译）。用 81cbfdb 及之后的版本即可：

$ ./engine/strata --version
strata 0.1.43

注意：如果你在 11-02 之前下过源码，重新拉一次；只改编译参数没用。

2.3 ROCm 下载：单连接 50 KB/s，必须多线程

setup.sh 会用 pip 从 rocm.nightlies.amd.com 拉三个轮子，共 2.1 GB。实测单连接被限速到约 50 KB/s（2.1 GB 要十几小时），pip 直接 Read timed out。

解法：先用 aria2 16 线程下好，再本地装（实测总带宽 13.8 MB/s，3.5 分钟下完）：

aria2c -q -x16 -s16 --file-allocation=none -o rocm_sdk_core-7.10.0a20251120-py3-none-linux_x86_64.whl \
  https://rocm.nightlies.amd.com/v2/gfx110X-dgpu/rocm_sdk_core-7.10.0a20251120-py3-none-linux_x86_64.whl
# devel 与 libraries 两个轮子同理，共三个

2.4 元包缺失时要手动解压

rocm 元包（提供 rocm-sdk 命令）在部分时间点不可用，导致 setup.py 卡在校验。手动补齐：

S=.venv/lib/python3.12/site-packages
tar xf $S/rocm_sdk_devel/_devel.tar -C $S          # 8.1 GB，解出 _rocm_sdk_devel/
printf '#!/bin/sh\necho "%s/_rocm_sdk_devel"\n' "$PWD/$S" > .venv/bin/rocm-sdk
chmod +x .venv/bin/rocm-sdk

setup.py 只调用 rocm-sdk path --root，这个 shim 足够。

其余步骤（pip 依赖、模型包生成）按 ./setup.sh --build --backend hip --model IQ3_S --no-start 走即可，pip 记得挂国内镜像。

3. 四组对照：提升到底来自哪里

只跑 A/B 两组会得出错误结论——那 2.8 倍里有参数、有环境开关、有引擎代码。所以做了四组：

结果（prefill / decode，tok/s）：

读表：

• C 比 A 慢 31–34%：fork 的代码本身不但没更快，配原版参数还更慢。
• D 和 A 基本持平（prefill ±2%，decode +3~9%）：光抄命令行参数没用。
• B 才是唯一有效的组合。

一句话：这不是"换个引擎"或"抄个参数"，是引擎 + 命令行参数 + 42 个环境开关三者绑定，缺一个就失效。想只抄参数省事，数据说不行。

4. 性能测试

4.1 方法

• 每次请求带唯一 salt，保证 cache_n = 0（不复用前缀）；读 timings.prompt_per_second / predicted_per_second
• 温度 0、seed 42、输出 256 token、每档 3 次取中位数
• 每组开测前先发一个丢弃的预热请求（首轮明显偏低，8K 档第一次 1,492、第二次 1,726）
• 显存/内存每档记录，两套引擎都是单实例独占

4.2 结果（fork 实测）

4.3 Agent 多轮（模拟 8 轮对话，首轮读 2 万 token）

有缓存的轮次也快了约 25%——那些轮次主要耗时在出字，而出字也快了。

4.4 数据怎么读

• 2.6–2.9 倍只出现在 22K 以上。5.6K 档只有 1.55 倍，因为短 prompt 的 prefill 时间本来就小，固定开销占比高。
• 墙钟差距比 tok/s 差距更大：239K 档 212 s → 76.5 s，是 2.77 倍。
• 这台机器的 PCIe 只有 3.0 x16（H2D 13.43 GB/s），能跑到 3,280 tok/s 说明 fork 的 prefill 主要不是靠总线搬数据。

5. 质量测试（69 道客观判卷题）

不跟原版比"像不像"，而是每题配独立判卷器：

结果：

两边错的是同一批题：

同一批题、同一个错法 → 这是模型短板，不是引擎差异。

注意：开思考时 fork 有一道题把 1200 token 输出预算全花在推理上、没写出代码（finish_reason=length）。关掉思考后该题通过。用 fork 写代码时把 max_tokens 设大一点。

6. 思考开关：端到端差 3–4 倍

出字速度（tok/s）不能当体感——思考过程也算时间。同一批题、同一引擎，只切 chat_template_kwargs: {enable_thinking: false}：

• 短题关思考快 2.8–4.0 倍
• 长文题没差别（时间全在读入，输出只有几个字）
• 同一批题，开/关思考的判定结果几乎完全一致（13/14、4/4、6/6 相同）

反常识：引擎的 decode tok/s 在开思考时反而更高（结构化推理文本的投机接受率高）。但用户等的是最终答案，所以体感上关思考快得多。想要体感快，关思考；想要 tok/s 好看，开思考。

7. spec 扫描：3 或 4 都行，2 偏慢

--spec（每步草稿数）不是越大越好。Agent 多轮 8 轮总计：

接受率随草稿数单调下降，收益在 3–4 封顶：

每步平均产出 = (1 - α^(k+1)) / (1 - α)
每步代价     ≈ 1 + c·k

α 掉得比 k 涨得快，k 过了 4 就白跑验证。spec 2 在 fork 上慢 8%，spec 6 只是持平。

每个 spec 只跑 1 轮，误差 ±5%，所以 3/4/6 之间 0.4–0.8 秒的差别不能当真。结论只有一句：2 明显差，3 以上打平，选 3 或 4。

8. 已知限制与注意事项

1. 必须整套换：引擎、命令行参数、42 个 STRATA_* 环境开关三者绑定。只换引擎慢 31–34%（C 组），只抄参数等于没换（D 组）。
2. AVX-512 修复很新：PR #1 于 2026-11-02 02:13 合并。此前版本在无 AVX-512 的 CPU 上必然 SIGILL，且 STRATA_FORCE_ISA 无效。
3. 分支单人维护：nicejunjie/Strata-rdna3，上游更新要手动合并；作者验证机是 9950X3D2，本机（Haswell + DDR3）不是他的目标平台。
4. 安装链路长：ROCm 2.1 GB 需手动多线程下载，元包缺失要自己解压 + 写 shim，全程约 40 分钟（不含编译）。
5. 写代码要把 max_tokens 放大：开思考时容易把预算全花在推理上，finish_reason=length 导致代码截断。
6. 本组数据都是单次运行：每档 3 次取中位，但每组只跑一轮，跨组比较误差约 ±5%。
7. 质量测试是自建判卷器：69 题、客观判分，但不是权威 benchmark，只能说明"两边没差别"，不能说明"绝对水平如何"。
8. 内存占用高：fork 的专家 arena 约 46.8 GiB（arena_mib=47962），加 KV 后整机占用 50 GB 上下。这台 125 GiB 机器跑单实例没问题，但同机不能再跑第二个。

9. 复现命令清单

# 1) 源码（必须 81cbfdb 或之后，含 PR #1）
aria2c -x8 -s8 -o strata.tar.gz "https://codeload.github.com/nicejunjie/Strata-rdna3/tar.gz/refs/heads/rdna3"
tar xzf strata.tar.gz -C Strata-rdna3 --strip-components=1

# 2) 系统依赖
sudo apt install -y build-essential cmake ninja-build python3-venv aria2

# 3) ROCm 轮子（多线程下，单连接会被限速到 50 KB/s）
aria2c -q -x16 -s16 -o rocm_sdk_core-7.10.0a20251120-py3-none-linux_x86_64.whl \
  https://rocm.nightlies.amd.com/v2/gfx110X-dgpu/rocm_sdk_core-7.10.0a20251120-py3-none-linux_x86_64.whl
# devel / libraries 同理

# 4) 编译 + 生成模型包（约 20 分钟）
cd Strata-rdna3
export XDG_CONFIG_HOME=$PWD/.config PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple
./setup.sh --setup --build --backend hip --family qwen --model IQ3_S \
  --context 262144 --kv int8 --vision no --gpu 0 \
  --data-dir /path/Strata-data-rdna3 --no-start --yes

# 5) 起服务（fork 自带 serve/server.py，不要用 0.2.x 的）
./.venv/bin/python serve/server.py --engine strata \
  --config /path/strata-iq3_s.json --port 8080

# 6) 自检
curl -s http://127.0.0.1:8080/health

# 预期健康返回
{"status": "ok", "max_context": 262144, "model": "qwen3.8-flash-next-iq3_s", "loaded": true}

测速脚本读引擎自己的 timings 字段即可，不需要客户端计时：

# 关键：每次请求带唯一 salt，确保 cache_n == 0
r = post("/v1/chat/completions", {"model": m, "messages": [{"role": "user", "content": salt + doc}],
                                  "max_tokens": 256, "temperature": 0, "seed": 42})
t = r["timings"]          # prompt_per_second / predicted_per_second / draft_n_accepted