状态：已上线运行（systemd 服务 strata.service，active + enabled）

一、需求核对与偏差

命名拆解：“GSQ-RCO” 是 ISTA-DASLab 的量化方法（2 至 3.5 bit）；“IQ4” 属于 Unsloth 4-bit 家族（UD-Q4_K_XL）。两者属不同家族，无法组合成单一模型（来源：huggingface.co/ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF）。

二、环境实测

三、多卡模型分片方案

Strata 采用层切分（流水线并行，layer split），非张量并行。一个 token 每个验证窗口跨卡一次（数百 KB 经 pinned RAM），无需 NVLink 或 P2P。

配置采用显式三段切分（比 auto 更可预测）：

layers  0-15  →  CUDA0
layers 16-31  →  CUDA1
layers 32-47  →  CUDA2   （末卡另跑输出头与 MTP 草稿层）

引擎启动日志实测确认：layer split: layers 0-15 (CUDA0), 16-31 (CUDA1), 32-47 (CUDA2), one hand-off per window。

各卡持有：dense 权重副本、自身会话的 KV、验证窗口与 prompt 缓冲、以及仅限自身层的专家缓存。主机 RAM 持有共享的专家 arena（39.97 GiB），CPU 池计算任何卡未持有的专家。本次实测 100% experts resident，即全部专家已驻留显存，解码几乎不触 CPU 池。

注意：--peer-device 不可与 --layer-split 同用（源码 generate.cpp:1718 直接报错），二者是互斥的两种多卡模式，本方案不使用它。

四、引擎核心参数

配置文件：/root/Strata/strata-swift-iq3_xxs.json

五、模型准备（国内网络加速）

Strata 在 Linux 上没有预编译引擎（v0.1.38 release 仅 Windows 资产），必须源码编译；同时 GitHub 大数据传输被限速、HuggingFace 直连不通。实际采用如下加速路径：

关键点：setup 判断分片是否已下载，要求文件存在且有 <name>.done 标记（setup.py:3395）。模型目录为 Strata-data/models/<family tag><SIZE>，swift 家族 tag 为 swift-。

产物清单：

71G   /root/Strata-data/models      （2 个 GGUF 分片，70.75 GiB）
6.5G  /root/Strata-data/mtp         （MTP 张量 + 打包后的 gguf/rt）
1.5G  /root/Strata-data/packs       （引擎格式包）
39M   /root/Strata/engine/strata    （编译产物）

六、服务启动命令

systemd（当前生产方式）

单元：/etc/systemd/system/strata.service

[Unit]
Description=Strata inference server (Swift 1.5 IQ3_XXS, 3x RTX 4090 layer split)
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
WorkingDirectory=/root/Strata
Environment=HF_ENDPOINT=https://hf-mirror.com
ExecStart=/root/Strata/.venv/bin/python /root/Strata/serve/server.py \
  --engine strata \
  --config /root/Strata/strata-swift-iq3_xxs.json \
  --port 8080
Restart=on-failure
RestartSec=15
LimitMEMLOCK=infinity
TimeoutStartSec=0

[Install]
WantedBy=multi-user.target

操作：

systemctl start strata        # 启动（首次加载约 1 分钟）
systemctl status strata       # 状态
journalctl -u strata -f       # 跟踪日志
systemctl restart strata      # 重启
systemctl stop strata         # 停止

LimitMEMLOCK=infinity 必需：引擎要 pin 约 40GB 主机内存作专家 arena。

手动启动（等价）

cd /root/Strata && ./run-swift-iq3_xxs.sh

重新生成配置（如需改参数）

cd /root/Strata
export HF_ENDPOINT=https://hf-mirror.com
./setup.sh --setup --family swift --model IQ3_XXS \
  --context 262144 --kv int8 --vision no \
  --gpus 0,1,2 --layer-split 16,32 \
  --vram-reserve-mib 8192 \
  --host 0.0.0.0 --api-key <KEY> --port 8080 --yes --no-start

七、部署中遇到的两个关键问题

1. OOM：native dense upload blk.26.attn_qkv.weight: out of memory

现象：GPU0/GPU1 各占 45GB，GPU2 空；dense 权重上传失败。

根因：GPU0/GPU1 被现有 SGLang 服务占用（详见第八节），仅剩约 3GB 空闲。自动分片 auto 把层分到了几乎占满的卡上。

引擎侧诱因：--kv-resident 把 KV 移出显存后，--expert-cache auto 把释放的显存全部填成专家槽，未给 dense 权重留空间。

修复：

1. 释放 GPU0/1（停 SGLang）；
2. 显式 layer_split=16,32，避免 auto 的不可预期放置；
3. 加 --vram-reserve-mib 8192，为 dense 权重与缓冲留出固定空间。

2. 显式分片优于 auto

auto 会尝试所有放置并挑缓存命中最高者，但受 PCIe 探针（12.3GB/s → pcie_frac 0.34）影响会过度倾向把专家塞进显存。三卡等分（16,32）行为确定，便于容量规划。

八、与现有 SGLang 服务的资源冲突（重要）

服务器原有 sglang-dflash2.service（systemd），提供 Qwen/Qwen3.8-27B + DFlash2 推测解码，TP=2，端口 30000，占用 GPU0/GPU1 各约 45GB。

按确认执行了：停止并禁用该服务，三卡全部让给 Strata。

systemctl stop sglang-dflash2.service
systemctl disable sglang-dflash2.service

影响：Qwen3.8-27B 服务（30000 端口）中断，WorkBuddy 中指向 http://192.168.1.79:30000/v1 的自定义模型不可用。

需要恢复 SGLang 时

注意：它与 Strata 争抢 GPU0/GPU1，二者不能同时运行（除非改用单卡或重排）。

# 先停 Strata 释放显存
systemctl stop strata
systemctl enable --now sglang-dflash2.service

完整原始启动命令已保存在服务器 /root/sglang_restart_cmd.txt，同时单元文件 /etc/systemd/system/sglang-dflash2.service 未改动，可直接复用。

九、API 使用

curl http://192.168.1.79:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-strata-dbd01a2eca2adc9823153870c853973b" \
  -d '{"model":"swift-1.5-iq3_xxs","messages":[{"role":"user","content":"你好"}]}'

reasoning_content 返回思考过程，timings 返回 predicted_per_second 等实测指标。

十、实测性能

十一、运维速查

systemctl status strata                     # 服务状态
journalctl -u strata -n 50                  # 最近日志
tail -f /root/Strata/strata-swift-iq3_xxs.log   # 引擎日志（含分片与缓存命中）
nvidia-smi                                  # 显存占用
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv

调优候选（当前未启用）：

• 显存充裕时可下调 --vram-reserve-mib（8192 → 4096 或 2048），给专家缓存更多空间；
• 若显存吃紧，可把 --kv 降为 k8v4（INT8 K + 4bit V，816 B/cell，比 int8 的 1056 更省）；
• 短上下文场景可将 --kv-resident 0，令全部 KV 驻显存。

十二、来源

• 引擎仓库与发布：https://github.com/Niko1221/Strata（v0.1.38，MIT，基于 llama.cpp/ggml）
• 引擎文档：仓库内 docs/INSTALL.md、docs/MODELS.md、docs/MULTI_GPU.md
• 模型：https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF
• 量化基础模型：https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF