262K Prefill 对比

优化后的 262K Prefill 为优化前的约 1.19 倍。不过，5,243.9 是关闭检查点的单项调优确认值；6,263.9 来自目前日常配置的七档测试。因此这两个数值可作前后参考，不能视为完全同条件的严格 A/B。作为更接近同口径的日常基准，旧版检查点开启时 262K Prefill 是 5,147.1 tok/s；对比当前 6,263.9，提升约 21.7%。

七档 Prefill：优化前后

以下以两次正式六档/七档测试中都有的上下文长度作比较，速度单位 tok/s，均为两轮中位数。

32K 到 262K 各档都更快，但提升幅度随上下文增长而收窄。8K 和 16K 是新一轮新增档位，旧测试没有对应数据，因此不列百分比。

主要参数变化

优化后完整配置（可复现）

测试平台和版本

CPU: AMD Ryzen 5 7500F，6 核 12 线程
GPU: RX 7900 XTX × 2，gfx1100，HIP，GPU 编号 [0, 1]
RAM: 96 GB
OS: Ubuntu 24.04.5
Strata: RDNA3 fork，engine 0.1.43
Source commit: fc8f82334239199cd3cfcfa5ab5b8ac09827d19b
Model: Qwen3.8-Flash-Next GSQ-RCO IQ3_S
Context: 262144
KV: INT8
hipBLASLt: gfx1100 / 100401 tuning table
Layer split: 24 / 24
VRAM reserve: `--vram-reserve-mib 2048`

引擎启动参数

把路径替换成自己的 Strata 和 Strata-data 路径。配置模板附件已经包含下面这些参数，可直接改模板中的路径：

--pack /path/to/Strata-data/packs/iq3_s \
--native /path/to/Strata-data/models/IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf \
--ple-gguf /path/to/Strata-data/models/IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00002-of-00002.gguf \
--expert-profile /path/to/iq3s-rdna3-assets/expert-profile.bin \
--prefill auto \
--spec-min-p 0.5 \
--mtp /path/to/Strata-data/mtp/rt \
--max-context 262144 \
--kv int8 \
--ple-io direct \
--stats \
--pool-workers 8 \
--expert-cache auto \
--ple-row-cache 1048576 \
--kv-resident 32768 \
--pipeline-windows 2 \
--mtp-q4 all \
--mtp-window 4096 \
--pcie-frac 0 \
--spec 3 \
--vram-reserve-mib 2048 \
--layer-split 24

完整环境变量

下列值用于优化后的测试配置。STRATA_HIPBLASLT_TUNING 指向附件中的调优表；STRATA_DP_PREFILL=1 开启双卡 DP Prefill。

STRATA_HIPBLASLT_TUNING=/path/to/iq3s-rdna3-assets/gfx1100-hipblaslt-100401-262k-20261026.txt
STRATA_RDNA_MMVQ_WAVE=3
STRATA_PEER_TRANSPORT=host
STRATA_HIP_WMMA=1
STRATA_SELECT_WMMA=1
STRATA_PREFILL_CPU_SHARE=auto
STRATA_HC_Q8=0
STRATA_PREFILL_AUTO_MAX=32768
STRATA_PREFILL_RING=384
STRATA_PREFILL_MMQ_TILE_ROWS=32
STRATA_ROUTE_TAIL_SKIP=0
STRATA_HEAD_MIX_MULTI=1
STRATA_ONE_TOKEN_COMMIT=0
STRATA_AUX_CPUS=off
STRATA_GR_RDNA=1
STRATA_GR_RDNA_Q8=1
STRATA_RDNA_Q6K=1
STRATA_GR_RDNA_A8=1
GPU_MAX_HW_QUEUES=8
STRATA_PREFILL_SMALL_RING=96
STRATA_PREFILL_SMALL_MAX=4096
STRATA_QFUSE=1
STRATA_COMBINE_CPU=1
STRATA_VERIFY_QDEDUP=1
STRATA_WAIT_FUSE=1
STRATA_ROUTE_PUBLISH=1
STRATA_GR_INJ_UP=1
STRATA_PF_FUSED=1
STRATA_STAGER_RING=64
STRATA_PREFILL_CPU_SHARE_MAX=1024
STRATA_GR_FUSED=1
STRATA_GDN_HEAD=1
STRATA_GDN_CHUNKED=1
STRATA_GDN_CHUNK_GDV=0
STRATA_PA_KLDS=1
STRATA_GDN_PP=1
STRATA_GDN_CONVL2=1
STRATA_GDN_NOY=1
STRATA_PF_GEMM=1
STRATA_PF_PAD=1
STRATA_HC_UPMIX=1
STRATA_PF_HCDOWN=1
STRATA_FUSE_CONVAB=1
STRATA_PA_FAST=1
STRATA_PF_GROUP_RES=1
STRATA_PF_F16=2
STRATA_KV_HOST_DMA=1
STRATA_DP_PREFILL=1

安装、构建和启动

1. 使用 RDNA3 fork 的固定 commit，安装 HIP 依赖，并准备双卡 gfx1100 构建：

   git clone https://github.com/nicejunjie/Strata-rdna3.git
   cd Strata-rdna3
   git checkout fc8f82334239199cd3cfcfa5ab5b8ac09827d19b
   cmake -S . -B build-rdna3 \
     -DCMAKE_BUILD_TYPE=Release \
     -DSTRATA_ENABLE_HIP=ON -DSTRATA_ENABLE_CUDA=OFF \
     -DCMAKE_HIP_ARCHITECTURES=gfx1100
   cmake --build build-rdna3 --target strata -j2
   

2. 按 Strata 安装流程准备 Qwen IQ3_S 模型分片、iq3_s pack/tokenizer 和 MTP runtime。附件提供本次测试所用的 expert profile、hipBLASLt 调优表、JSON 配置模板与测速脚本；模型权重和 MTP 文件需自行准备。AMD HIP 的依赖和运行时可按仓库 docs/AMD_HIP.md 的 Install with setup 部分安装；本文为锁定测试版本，使用上面的固定 commit 和 CMake 命令构建。

3. 打开 JSON 模板，把其中 /path/to/... 替换为实际路径。模板默认只监听 127.0.0.1。在 Strata 仓库目录启动服务：

   .venv/bin/python serve/server.py \
     --engine strata \
     --config /path/to/strata-iq3s-rdna3-262k-template.json \
     --port 8081
   

4. 等待 http://127.0.0.1:8081/v1/status 显示 loaded: true、engine: 0.1.43、context: 262144，再开始测试。测试时不要同时发送其它请求。

复测速度

附件中的 benchmark_5090_method.py 使用 Strata tokenizer 和 chat template 生成目标长度的冷提示，每轮输出上限 256 tokens。运行：

.venv/bin/python /path/to/benchmark_5090_method.py \
  --root /path/to/Strata-rdna3 \
  --pack /path/to/Strata-data/packs/iq3_s \
  --url http://127.0.0.1:8081 \
  --out ./bench-iq3s-rdna3 \
  --targets 8192,16384,32768,65536,87040,128000,261880 \
  --runs 2

核对每轮 prompt_tokens 等于目标长度、缓存复用为 0、输出为 256 tokens。Prefill tok/s 按新读入 token 数除以引擎 prompt 用时；Decode tok/s 按实际生成 token 数除以引擎 decode 用时；表中报告两轮中位数。85K 目标的 tokenizer 实际长度是 87,039；262K 目标实际为 261,880。

附件清单：strata-iq3s-rdna3-262k-template.json、benchmark_5090_method.py、assets/expert-profile.bin、gfx1100 hipBLASLt 100401 调优表，以及本文引用的两张 PNG。profile 和调优表来自本次测试，其他机器若使用不同模型文件或 hipBLASLt 版本，应重新核实兼容性。

逐项参数 A/B：哪项影响最大？

在当前 RDNA3 fork 上一次只改一个参数，其他设置保持不变。对照是日常配置：Prefill auto（最大 32K）、kv-resident 32768、DP Prefill 开启。每档输入 261,880 或 128,000 tokens，缓存命中 0、输出 256 tokens。

目前的判断：

• DP Prefill 有明显收益。 关闭后 128K 和 262K Prefill 分别下降约 19% 和 12%；保留开启。
• KV 常驻从 32K 降到 20K 没有可见 Prefill 收益。 262K 几乎完全相同，继续使用 32K。
• 固定 16K 分块没有显示出比 auto 更快。 262K 低约 4.8%；128K 中位数低约 3.4%，但首轮较慢、后两轮聚集在约 6.3K，和 auto 的运行范围有重叠。这部分只看作趋势，当前保留 auto。

复测方法与边界

优化前后正式上下文测试均为冷提示、缓存命中 0、每轮生成 256 tokens，每档两轮取中位数。262K 实际输入为 261,880 tokens。逐项 A/B 使用当前 RDNA3 fork，128K 的 auto 和固定 16K 补测各三轮，其余单项每档两轮。固定 16K 128K 组首轮明显低于后两轮，所以表中给中位数和图中范围，并避免把小幅差距解读成确定优势。

前后版本的总提升仍属于整套引擎与配置的综合成绩；这里的 A/B 只估计当前 fork 内三个开关的独立影响。它不能把旧版 0.1.45 到 RDNA3 fork 的全部提升分摊给这几个参数。长时间稳定性还没有做。

测试平台：Ryzen 5 7500F、双 RX 7900 XTX（gfx1100）、96 GB RAM、HIP；Qwen3.8-Flash-Next GSQ-RCO IQ3_S；262,144 context；INT8 KV；显存预留 2 GiB。优化前数据及调优说明来自前一轮六档测试，优化后数据来自 RDNA3 fork 七档测试。