啥也不说，先放PR:https://github.com/Niko1221/Strata/pull/260 找个趁手的Agent帮你部署一下就好了。

简单谈几个可能会被忽视的小细节：

1. 这个引擎的专家基本都在RAM缓存，支持CPU/GPU混合计算，所以会看到一个奇怪现象：段上下文的pp/tg比长上下文的pp低，这主要是VRAM caching构建中的摩擦成本，所以这模型越用越快也是有点意思。刚开始随机跟它对话的话tg大概40左右，用dsh加一个9k的prompt居然tg到了50，考虑到这是个80GB+模型，这个引擎也算是agent圣体了。
   下面是一个dsh 120k session的 tg随context下降的图表：
   

2. pp阶段主要瓶颈是pcie带宽，我本来是双卡7900xtx pcie48 拆分，把另一张卡关机拔了重启后主显卡自动获得pcie416，pp自动涨了+30%，tg也涨了10%。另外可以看到12GB 的5070 tg和24g的7900xtx一样，主要是因为人家是pcie5*16，估计未来R9700支持之后速度会更快，当然要搭配更贵的PCIE5主板和内存。

最后API server的拉起命令:

cd path/to/Strata
HIP_VISIBLE_DEVICES=0 PYTHONUNBUFFERED=1 \
  ~/.config/strata/venv/bin/python -m serve.server \
    --engine strata --config /home/jianwei/.config/strata/serve.json --port 8080

serve.json

{
  "exe": "/path/to/Strata/build-hip/strata-hip",
  "cwd": "/path/to/Strata",
  "args": [
    "--pack",
    "/path/to/Strata-data/packs/iq3_s",
    "--native",
    "/path/to/Strata-data/models/IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf",
    "--ple-gguf",
    "/path/to/Strata-data/models/IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00002-of-00002.gguf",
    "--expert-profile",
    "/path/to/Strata/data/expert-profile.bin",
    "--expert-cache",
    "auto",
    "--prefill",
    "2048",
    "--spec",
    "2",
    "--spec-min-p",
    "0.5",
    "--adapt-every",
    "2",
    "--pcie-frac",
    "0.30",
    "--kv",
    "int8",
    "--max-context",
    "262144",
    "--mtp",
    "/path/to/Strata-data/models/IQ3_S/mtp/rt"
  ],
  "tokenizer": "/path/to/Strata-data/packs/iq3_s/tokenizer",
  "model_name": "Qwen3.8-Flash-Next",
  "host": "0.0.0.0",
  "port": 8080
}

最后一两张截图：