补充:这轮测试实际使用的启动参数
把参数也贴出来,方便大家对照。下面按当前运行进程核对过,用户名、机器地址和本地目录都换成了占位路径。这是本文的 v0.1.38 组合修改版参数,不是克隆官方或我们的 main 后就能直接复现的通用配置。 模型的 native pack 和配套 MTP 文件需要提前准备好。
1. GPU 顺序和修改版开关
# 按散热情况选择主卡;这里物理 GPU 1 是计算卡,GPU 0 是辅助缓存卡。
export CUDA_VISIBLE_DEVICES=1,0
# 以下开关由本文使用的组合修改版读取,不保证官方版本支持。
export STRATA_PREFILL_CPU=auto
export STRATA_DISJOINT_ADAPT=1
export STRATA_KV_PREFETCH=1
export STRATA_POOL_PIPELINE=1
export STRATA_CACHE_MESSAGE_BOUNDARY=1
对应关系:CPU 协助预填充来自参考 fork;后四项分别控制双卡缓存去重、KV 预取、CPU 专家流水线、消息边界 checkpoint,详见主帖的四个 PR。仅设置环境变量不会给未包含这些代码的版本增加功能。
2. 引擎启动命令
下面的路径都是占位符,替换成自己的文件位置。参数值则保留本机实际设置。
STRATA_BIN="/path/to/modified-strata"
PACK_DIR="/path/to/native-pack/iq3_s"
MODEL_DIR="/path/to/gguf"
MTP_DIR="/path/to/mtp/rt"
EXPERT_PROFILE="/path/to/expert-profile.bin"
CONTROL_VECTOR="/path/to/Qwen3.8-Flash-Next-experimental-speed-projection.gguf"
"$STRATA_BIN" --serve \
--pack "$PACK_DIR" \
--native "$MODEL_DIR/Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf" \
--ple-gguf "$MODEL_DIR/Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00002-of-00002.gguf" \
--expert-profile "$EXPERT_PROFILE" \
--expert-cache auto \
--expert-cache-device1 9500 \
--prefill auto:32768 \
--spec 6 \
--spec-min-p 0.9 \
--mtp "$MTP_DIR" \
--mtp-max-t 6 \
--max-context 131072 \
--kv int8 \
--kv-resident 32768 \
--vram-reserve-mib 700 \
--conversation-cache-mib 8192 \
--conversation-cache-slots 4 \
--conversation-cache-min-free-mib 2560 \
--pcie-frac 0.0 \
--vision \
--control-vector-scaled "$CONTROL_VECTOR:1.0" \
--control-vector-layer-range 4 44 \
--cvec-mode project \
--cvec-dir per-layer
几个容易混淆的地方:
- 双卡:
device1是 CUDA 重排后的第二张卡,在上述顺序里对应物理 GPU 0。9500 是副卡专家缓存槽位数,不是 MiB,也不是两卡各跑一份模型。主卡缓存由 auto 按剩余显存安排。 - 128K / INT8 KV:服务上下文是 131072;32768 是显存驻留窗口,不是把总上下文限制在 32K。
- 会话缓存:8192 MiB 总预算、4 个槽位,空闲内存门槛 2560 MiB。用于多个会话交替时恢复历史,不等于四路同时生成,也不保证跨重启保留。
- MTP:本轮采用 spec=6、mtp-max-t=6、最低置信度 0.9,需要配套权重。不是只加一个数字就能启用。
- 识图:本机启用了 vision,依赖配套资源和修改版的按需加载逻辑;本文速度表不代表识图速度。
3. 思考和 HTTP 服务是另外一层
实际对外还套了一层服务封装,处理 OpenAI 兼容接口和思考预算。上面的原生引擎命令不是完整的 HTTP 服务启动脚本。
| 服务层设置 | 本轮值 |
|---|---|
| 请求思考级别 | medium |
| 思考 token 预算 | 2048 |
| 输出 token 上限 | 8192 |
封装层通过 STRATA_THINKING_BUDGET=2048 和 STRATA_OUTPUT_CAP=8192 读取预算;它们不是承诺官方原生引擎直接支持的 CLI 参数。客户端的采样设置、提示词和任务内容也会影响实际耗时。
4. 控制向量参数
末尾四项是当前启用的运行时控制向量实验:强度 1.0,作用层 4–44,project 模式,per-layer 方向。它与直接修改权重的 abliterated 模型不是一回事,也不是一个保证所有请求都不拒答的通用开关。 文件必须与模型配套;没有该文件时不要照抄这四项。本文没有单独给它计算加速收益。
以上是便于对照的脱敏参数记录,没有公开服务地址、认证信息或本机目录。两卡功耗限制仍是主帖里的 250W / 280W,本次只补充文字,没有改服务或提高功耗。