结论先说：64GB 的 M5 Max 能跑 125B 的 Qwen3.8-Flash-Next（Q2_0 量化），262K 上下文完整跑通，512K 卡在时间预算而不是模型本身。
实测 prefill 吞吐约 1,870–2,077 tok/s，生成吞吐约 79–89 tok/s；512K 请求引擎侧实际跑了 310.5 s 才被客户端中止。

一、测试机器

引擎自报的 CPU 配置（启动日志）：

CPU pool: 16 workers by default (18 physical cores, 18 logical processors;
bounded by physical cores, one kept free)
host thread on core 0 (draining too)
this CPU has no AVX-512: the expert kernels run on ggml-cpu vec_dot

二、软件与模型

/v1/health 返回：

{"status":"ok","max_context":524288,"model":"qwen3.8-flash-next-q2_0",
 "images":true,"api_key":false,"loaded":true,"service":"strata"}

三、安装过程（Mac 源码路线）

Strata 在 Mac 上有两条路：.dmg 应用 / Terminal 版（预编译引擎），或源码 ./setup.sh（自己编译 Metal 引擎）。本机走的是源码路线。

git clone https://github.com/Niko1221/Strata && cd Strata
./setup.sh          # 问模型尺寸；--yes 走推荐答案

setup.sh 依次做 7 件事（已完成的步骤会自动跳过）：

1. Python：需要 3.10+，macOS 自带 3.9 时会下载一个 25 MB 的独立 Python 3.12（SHA-256 校验），不需要 sudo/Homebrew。本机已有 Homebrew Python 3.14，直接建 .venv。
2. 体检：芯片、内存、macOS 版本、Command Line Tools、磁盘空间。
3. Python 依赖装进 .venv，CMake 与 Ninja 也来自 pip。
4. 编译引擎 build-metal/strata（Apple metal-cpp 头文件 + llama.cpp 的 ggml，本机 AppleClang 21）。
5. 下载模型（断点续传；已有 GGUF 可用 --gguf-dir）。
6. 准备模型：生成 pack（几秒）+ MTP 草稿层（约 5 GB 原始 checkpoint）。
7. 写 strata-<model>.json 与 run-<model>.sh，然后启动服务。

本机实际时间线（2026-10-20）

四、配置信息

strata-q2_0.json（由 run-q2_0.sh 调用）：

{
  "exe": ".../build-metal/strata",
  "args": [
    "--pack",        ".../Strata-data/packs/q2_0",
    "--native",      ".../Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-00001-of-00002.gguf",
    "--ple-gguf",    ".../Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-00002-of-00002.gguf",
    "--expert-profile", ".../Strata/data/expert-profile.bin",
    "--expert-cache", "64",
    "--prefill",     "auto",
    "--spec",        "2",
    "--mtp",         ".../Strata-data/mtp/rt",
    "--max-context", "524288",
    "--mmap-experts",
    "--vision"
  ],
  "tokenizer": ".../packs/q2_0/tokenizer",
  "model_name": "qwen3.8-flash-next-q2_0",
  "port": 8080,
  "backend": "metal",
  "env": { "STRATA_METAL_STREAM": "0" },
  "vision": {
    "exe": ".../build-vision/bin/strata-vision",
    "mmproj": ".../mmproj-Qwen3.8-Flash-Next-BF16.gguf",
    "gpu": true,
    "max_tokens": 1024
  }
}

参数含义（按本机实测理解）：

️ 524K 上下文时引擎的警告：

serve: 0 MiB of VRAM free with everything loaded - LOW: requests may stall;
  add --vram-reserve-mib 1212 to the config's args (or lower --max-context)

另外 memory guard: the available RAM cannot be read; parking and session save/restore are refused —— 所以 Strata 侧没有 oMLX 那样的 /admin/api/stats，测试脚本无法采集内存峰值（报告里 peak GiB 为 -）。

五、测试工具

自写脚本 scripts/local-test/context_capacity_probe.py：

• 扫描本机 OpenAI 兼容端口（8000 / 8080），列出在线模型供选择；
• 先做 校准（测 chat 模板开销与 tokens/字符比例，本次模板开销 72 tokens，filler 47 tokens/行）；
• 然后按 16K → 32K → 64K → 128K → 256K → 512K 阶梯上升；
• 每步 max_tokens=16，记录真实 prompt_tokens / completion_tokens / prefill_ms / total_time / 墙钟时间；
• 任一步失败（OOM、memory guard、超时、上下文超限、服务端截断）立即停止，不再试更高阶梯；
• 每次运行独立目录，不覆盖旧结果。

本次运行参数：--mode ladder，--gen-tokens 16，--time-budget 480，--max-requests 20，--request-timeout 360。

六、实测结果（run-20261020-201926-074430ec）

• 目标模型：qwen3.8-flash-next-q2_0 @ http://127.0.0.1:8080/v1
• 状态：ladder_stopped_timeout，总耗时 479.61 s，请求 10 条（9 成功 / 1 失败）

关键指标：

引擎侧对应日志（同一请求）：

prompt 262049 tokens = 0 reused + 262049 read in 140141 ms (1869.9 tok/s),
  16 generated in 203 ms (78.7 tok/s), drafts accepted 7 of 8, 6 checkpoints
prompt 524215 tokens = 0 reused + 524210 of 524215 read in 310525 ms (1688.1 tok/s),
  0 generated in 2 ms (0.0 tok/s) (cancelled)

七、结果解读

1. 262K 是真跑通的，不是"声明支持"。
服务端 /health 声明 max_context: 524288，但声明不等于可用。实测 262K 完整 prefill + 生成 16 token，没有任何截断或报错。

2. 512K 失败是"时间预算"问题，不是模型拒绝。
失败类型是 Timeout: TimeoutError，HTTP 状态 -1（客户端侧），而不是服务端返回 400/500。整轮运行耗时 479.61 s，正好撞上 --time-budget 480 的全局预算，所以这条请求在 210.5 s 处被客户端看门狗中止；引擎日志显示该请求的 prefill 推进到 524,210 / 524,215 tokens，累计 310.5 s（1,688 tok/s） 后才被标记为 cancelled。
→ 把 --time-budget 提到 900 s、--request-timeout 提到 600 s，512K 大概率能跑通。

3. prefill 吞吐随上下文下降约 10%。
2,077 → 2,037 → 2,029 → 1,973 → 1,870 tok/s。16K 到 262K 只降 10%，说明长上下文没有明显的平方级恶化（MoE + PLE 的读取走 SSD，专家命中走 GPU）。

4. 真正的瓶颈是显存余量。
32K 上下文时 10273 MiB of VRAM free；524K 时 0 MiB of VRAM free，引擎直接提示"requests may stall"。64 GB 统一内存跑 Q2_0（官方建议 64 GB 起）在 512K 上是刚好卡在边界。

5. KV 缓存复用效果非常明显。
同一会话重复请求时，日志出现：

prompt 262132 tokens = 262127 reused + 5 read in 25 ms (197.0 tok/s)

262K 上下文从 140 s 降到 25 ms。阶梯测试每步都是新会话，所以 cached_tokens = 0；日常多轮对话的实际体验远好于阶梯数字。

6. 生成速度稳定。
带 MTP（--spec 2）实测 79–89 tok/s，草稿接受率约 7/8。

八、复现命令

# 1) 启动服务
cd /Users/snow/local-ai/Strata/Strata
./run-q2_0.sh

# 2) 健康检查
curl http://127.0.0.1:8080/v1/health

# 3) 阶梯实测
cd /Users/snow/Documents/workspace
python3 scripts/local-test/context_capacity_probe.py --list
python3 scripts/local-test/context_capacity_probe.py --select 2

# 4) 想跑满 512K，把预算放宽
python3 scripts/local-test/context_capacity_probe.py \
  --select 2 --time-budget 900 --request-timeout 600 --max-requests 12

九、给同样配置的人的建议

附：数据来源

• 硬件：system_profiler SPHardwareDataType / sysctl / diskutil
• 服务元数据：/v1/health、/v1/models、strata-q2_0.json、build-metal/BUILD.json
• 引擎日志：Strata/strata-q2_0.log
• 测试报告：scripts/local-test/results/run-20261020-201926-074430ec/summary.md（另有 result.json / probes.csv / probes.jsonl / meta.json）
• 复现性：20:27 的第二轮（run-20261020-202748-1342eaf6）得到同样的结论——256K 成功、更高阶梯超时。