年龄大了，懒！（太晚、太累！就不上图了，关键是操作不好并已被警告两次）直接贴结果及上作业大家一起交流学习，不喜也请手下留情（本人小白）。
首先感谢：
锤哥提供的学习平台和Bunsei大佬的帖子及各位同仁，有一部分都是借鉴了各位的帖子做的部署。

覆盖范围：硬件核查 → 方案调研 → 模型下载与校验 → 方案① 部署 → 端口迁移 → 多轮基准测试（44 题 / 65 题 / 210 题）→ 统计结论与建议

目录

1. 服务器硬件与软件清单（实测）
2. 方案调研与选型（含参考来源）
3. 文件下载与完整性校验
4. 方案① 部署：Radiance + Qwen3.8-27B-FP8（TP2）
5. 端口迁移与端口规划
6. 模型清单扩充（MXFP4 下载、BF16 不可得）
7. 重点模型详解：qwen3.8-next-flash-fp8-iq4r-moe.rad
8. 第一轮：A/B 对比（FP8 vs MXFP4，10 题）
9. 第二轮：全模型基准 v1（4 模型 × 44 题 + 速度）
10. 评测框架设计（严格版）
11. 第三轮：严格评测 v1（65 题，Bootstrap CI）
12. 第四轮：Phase-2 精细评测（210 题，配对统计）
13. 统计结论汇总（三轮合并）
14. 部署建议与选型
15. 附录 A：脚本与命令清单
16. 附录 B：文件与路径索引
17. 附录 C：错误、坑与修正记录

1. 服务器硬件与软件清单（实测）

关键约束：64 GB 显存 < Flash-Next 权重体积（FP8 约 122 GB），因此 125B 模型必须「显存 + 主机内存 + NVMe」三级放置。

2. 方案调研与选型（含参考来源）

2.1 候选引擎对比

2.2 关键参考

• Radiance 引擎仓库：https://codeberg.org/StillDeadcode/radiance（v1.11.0，模型配方 + compose）
• vLLM-Radiance（已弃用并入 radiance）：https://codeberg.org/StillDeadcode/vllm-radiance
• 双 R9700 实测帖（130–210 tok/s、pin digest 教训）：https://lcz.me/topic/1668
• Qwen3.8-27B 部署决策矩阵（NVIDIA 侧）：https://github.com/tonyd2wild/Qwen3.8-27B-3090-Cookbook
• 27B vLLM GPU 梯队：https://www.orcarouter.ai/zh-CN/blog/qwen-3-8-27b-vllm
• Strata 引擎报道：https://gigazine.net/gsc_news/en/20261005-strata-local-ai
• GSQ-RCO 量化模型卡：https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
• llama.cpp gfx1201 显存 bug：https://github.com/ggml-org/llama.cpp/issues/26208

2.3 选型结论（精度 > 稳定 > 速度）

3. 文件下载与完整性校验

3.1 引擎镜像（digest 固定）

docker pull stilldeadcode/radiance:1.11.0@sha256:7595a64234e84a59fa2141acc35456d53370430980880b5cb3df83370b2d903a
docker tag stilldeadcode/radiance@sha256:7595a642…903a stilldeadcode/radiance:1.11.0

3.2 模型文件

下载经验：hf-mirror + curl 单线程约 3–7 MB/s；改用 aria2c -x16 -s16 后达 25–50 MB/s。注意 aria2 稀疏预分配会导致「文件大小已满但实际未完」，必须以 SHA256 校验为准。

3.3 重要发现

• StillDeadcode/qwen3.8-27b-bf16 仓库 返回 401（不存在/未公开） → BF16 路线不可行，除非自转权重。
• 官方 compose 目录 deploy/compose/ 已同步到本地 ~/radiance/staging-1.11/compose/。

4. 方案① 部署：Radiance + Qwen3.8-27B-FP8（TP2）

4.1 启动命令

cd ~/radiance/compose
export RADIANCE_IMAGE='stilldeadcode/radiance@sha256:7595a642…903a'
export PORT=8000
docker compose -f qwen3.8-27b-fp8.yaml up -d

容器内实际参数：

--model /models/qwen3.8-27b-fp8.rad
--host :: --port 8000 --api-key 
--tp 2 --max-num-seqs 32 --max-model-len 200000 --kv-cache-dtype fp8

4.2 显存预算（引擎自报）

• 可容纳 4 个 200K 满长会话同时存在
• token embedding 放主机内存（每 rank 1.18 GiB），显存留给 KV/专家

4.3 实测性能（部署当日）

5. 端口迁移与端口规划

迁移方式：用 compose 变量覆盖 PORT=8000，未改任何配置文件。

6. 模型清单扩充（MXFP4 下载、BF16 不可得）

• 下载 qwen3.8-27b-mxfp4.rad（19.4 GB，Quark AWQ MXFP4 + W4A8，含 DFlash2 recipe）
• 校验：SHA256 a4908940… 与 HF 完全一致
• BF16：官方仓库 401，放弃

7. 重点模型详解：qwen3.8-next-flash-fp8-iq4r-moe.rad

这是四份模型里唯一「Pareto 最优」的那个，也是唯一需要三级放置（显存 + 主机池 + 磁盘）的。本节把模型本体、部署方案和选它的理由补全。

7.1 它是什么（模型）

四段式混合精度（不是单一量化，这是它能同时兼顾精度与速度的关键）：

官方质量基准（对 bf16 全词表 KL，约 75K 位置，覆盖聊天/工具/代码）：

关键解读：4bit 专家的偏差（0.0789）与"两个 bf16 实现之间的差异"（0.0399）同一量级——量化损失没有超出实现噪声。这也是我们在 210 题上测不出它与 bf16 级模型的显著差异的原因。

7.2 部署方案

前置条件：主机需约 32 GB 空闲内存（官方要求；本机 62 GB 满足）；双卡必须空闲（与其它模型互斥）。

实际启动命令（本地 ~/radiance/staging-1.11/compose/flashnext.yaml，已用于全部评测）：

cd ~/radiance/compose
export RADIANCE_IMAGE='stilldeadcode/radiance@sha256:7595a642…903a'
export PORT=8000
docker compose --env-file .env -f ~/radiance/staging-1.11/compose/flashnext.yaml up -d

容器内完整参数：

--model /models/qwen3.8-next-flash-fp8-iq4r-moe.rad
--host :: --port 8000 --api-key 
--tp 2 --tp-wire wht6
--max-num-seqs 8 --max-model-len 200000
--placement expert_tiered
--host-pool-mib 12288 --gpu-headroom-mib 96
--kv-cache-dtype fp8
--prefix-cache-mib 4096
--num-speculative-tokens 3
--max-num-batched-tokens 2048

显存预算（引擎启动时实测，每卡）：

三级放置：VRAM 21.3 GiB/卡（专家热集）→ 主机池 12 GiB（温集）→ 磁盘页缓存（冷集）。这是 125B 在 64 GB 显存上跑起来的唯一方式；官方另外提供了 BF16 参考配方（335 GiB，--weights-disk-tier，单步数十秒），只用于校准，不是生产配置。

实测性能（本机三轮测试汇总）：

与官方基准交叉验证：官方称"每 decode 步约 15 ms、每步接受 ~2.4 token"→ 折合 6.25 ms/token；我们实测 6.07 ms/token，吻合。

7.3 为什么选它（理由）

① 精度：两轮独立测试都排第一，且差异不显著

• 210 题：95.24%，McNemar 对 Strata（94.76）p=1.0、对 27B 系 q=0.25（不显著）
• 官方 KL 0.0789 与"双 bf16 实现差异" 0.0399 同量级 → 4bit 专家损失被实现噪声掩盖
• 关键：它没有为了速度牺牲精度，而 27B-FP8 是"保真度高但模型本身弱"

② 速度：每 token 6.07 ms，是 27B-FP8 的 2.1 倍、Strata 的 2.3 倍

• 同为 Qwen3.8-Flash-Next，Strata 跑 IQ3_S 是 13.88 ms/token，Radiance 跑 IQ4_R 是 6.07 ms
• 差距来自引擎（手写 RDNA4 kernel + 批处理调度 + MTP 投机）而非模型

③ 并发：唯一能撑多人的

• 8 路并发 767 tok/s（1→8 提升 5.1×）；Strata 在 8 路时仍是 69 tok/s（零扩展），P95 从 0.86 s 恶化到 14.8 s

④ 显存适配：64 GB 显存 + 12 GB 主机池就能跑 125B

• 专家分层放置让"显存装不下的 100 GB"变成"按访问频次流动"
• 代价是主机内存：需 ~32 GB 空闲（本机 62 GB 可满足，但同时跑其他任务会吃紧）

⑤ 工程性：radiance 原生容器

• 单个 .rad 文件，recipe 可复现，MTP + vision 内置，OpenAI 兼容（tools / 结构化输出 / image_url / 视频）
• 无需外挂 drafter（避免"drafter 配错导致接受率崩"的坑）

⑥ 与其它三个方案的取舍

⑦ 代价与风险（必须写明）

1. 主机内存门槛：需 ~32 GB 空闲；机器上还跑其他服务时要先腾内存
2. 互斥性：吃满双卡，与其它三个模型不能同时在线
3. 首次加载慢：113.6 GiB 从 NVMe 读入，冷启动约 2–4 分钟（有页缓存后明显更快）
4. 长尾损失：官方 KL 的 p99 = 1.65，意味着约 1% 的位置偏差较大；对罕见知识/生僻术语可能比 bf16 弱
5. 参数敏感：--host-pool-mib 给小了会频繁回读磁盘，给大了挤压系统内存；--expert-vs-cache-ratio（官方 0.82）影响热专家比例
6. 镜像必须 pin digest：:latest 曾静默回归导致投机解码失效

7.4 结论

在"精度最高、稳定、速度快"的三条排序下，它是唯一同时满足的选项：精度最高档（95.24%，且与其它模型统计等价）、每 token 最快（6.07 ms）、并发最好（767 tok/s@8）、长上下文最快（96K 用 14.5 s）。算术题上 86% 与 Strata 并列最高，弥补了 27B 系 78% 的短板。

推荐作为默认生产模型；保留 27B-MXFP4 作为"显存/内存紧张时"的降级方案，Strata IQ3_S 作为"单人流式交互"的备选。

切换命令：

bash ~/radiance/bench/sb_engine.sh flashnext    # 切到本模型
bash ~/radiance/bench/sb_engine.sh mxfp4        # 切到轻量备选
bash ~/radiance/bench/sb_engine.sh stop         # 全部停止

8. 第一轮：A/B 对比（FP8 vs MXFP4，10 题）

设置：关闭思考、temperature=0、同一题集（数学/代码/事实/逻辑/JSON/幻觉/翻译/抽取/工具/写作）

质量观察：MXFP4 在算术题上完整解出（排序→居中 128.50→五折→满减），FP8 陷入"优惠顺序"讨论被截断；FP8 引用了一条疑似编造的《红楼梦》程甲本原文，MXFP4 未编造。其余持平。

9. 第二轮：全模型基准 v1（4 模型 × 44 题 + 速度）

8.1 精度（44 题）

8.2 速度

长上下文 96K 检索：四模型全部通过，耗时 14.5 / 21.3 / 33.6 / 34.1 s。

第一轮结论：Flash-Next IQ4_R 综合最优（精度满分 + 最快）。

10. 评测框架设计（严格版）

9.1 从 CV 模板到 LLM 的等价映射

9.2 公平性控制清单（8 条）

1. 同一测试集（SHA256 版本号）
2. 同一提示词模板（题干写死）
3. 同一解码参数（temperature=0、关闭 thinking、固定 max_tokens）
4. 同一判分脚本
5. 无其他负载（评测前清空容器、确认 GPU 空闲）
6. 固定随机种子（bootstrap seed=20261023/20261024）
7. 引擎镜像 digest 锁定
8. 固定顺序：切引擎 → 健康检查 → 预热 → 测量

9.3 速度测量协议

• 预热 20 轮丢弃 → 正式 100 轮（或 30/10 轮）→ 3 个独立会话
• 报告均值 / 中位数 / P95 / 标准差 + 会话间 σ
• 三个计时口径互相印证（实测客户端 80.27 vs 服务端 80.3 tok/s，偏差 0.04%）

9.4 三个计时陷阱（已处理）

1. read(8192) 缓冲导致 TTFT 失真 → 改 readline() 逐行
2. 引擎把多 token 合进一个 chunk → token 数必须取 usage.completion_tokens
3. thinking token 计入延迟 → 统一 reasoning_effort=none

9.5 一致性检查（Polygraphy 等价）

• 50 条固定上下文的 top-5 logprobs → top-1 一致率 + KL 散度 + NaN/Inf
• 20 条生成文本 → 完全一致率 + 字符相似度

11. 第三轮：严格评测 v1（65 题，Bootstrap CI）

• 所有两两 CI 重叠 → 不宣称显著
• 会话间 σ ≤ 0.001 s（<0.3%），测量稳定
• 一致性：MXFP4 vs FP8 top-1 70%、KL 0.43 nats、NaN/Inf=0
• 修正记录：hal_03 关键词过窄、hal_04 题目歧义（排除）、多语言判分大小写、并发吞吐误发 200 并发 → 均已修复并重测

12. 第四轮：Phase-2 精细评测（210 题，配对统计）

11.1 测试集 v2.1（210 题）

指纹：testset_v2.jsonl v2.1，SHA256 d9ab810535e0d92880ae005f10018848a4bd6c2c6760c63f1b7617145d22cd3d

11.2 精度结果

11.3 配对检验（McNemar 精确 + BH-FDR）

11.4 分类准确率

唯一稳定差异：算术，125B（86%）> 27B（78%），5 题独对 / 0 题独错，p=0.0625。

11.5 顺序偏置

4 个模型位置敏感率全部 0%（10/10 一致且全对）。

11.6 速度：延迟线性模型

延迟 = 固定开销 + 每 token 成本 × N

11.7 并发扩展（聚合 tok/s）

Strata 1→8 并发吞吐恒定 69 tok/s（无 batching），P95 从 0.86 s 恶化到 14.8 s。

11.8 Pareto 前沿

Flash-Next IQ4_R 唯一前沿：精度最高档、每 token 最快（6.07 ms）、8 并发吞吐最高（767 tok/s）。其余三个模型均被支配。

13. 统计结论汇总（三轮合并）

1. 精度差异不显著：65 题（CI 全重叠）与 210 题（McNemar + FDR，q ≥ 0.25）两轮独立验证，四模型真实差距不超过约 5 个百分点。
2. 唯一能力差异在算术：125B 系 86% vs 27B 系 78%（5:0 独对，p=0.0625），数学密集任务选 125B。
3. FP8 被 MXFP4 严格支配：精度等价（p=1.0），但 MXFP4 每 token 便宜 27%（9.31 vs 12.77 ms）。
4. Strata 的瓶颈是引擎：精度并列，但并发零扩展（69 tok/s 恒定），只适合单人交互。
5. 低比特未伤能力：4bit 专家（IQ4_R）的 125B 仍最高分；MXFP4(4bit) 与 FP8 等价。
6. 无明显位置偏置：四模型均 0% 位置敏感。

14. 部署建议与选型

不推荐将 27B-FP8 作为主力：与 MXFP4 精度等价却慢 27%，与 125B 精度无显著差异却慢 2.1 倍。

部署运维要点

• 镜像必须 pin digest（:latest 曾静默回归导致投机解码失效）
• 启动后 grep SpecDecoding 验收接受率（正常 75–91%）
• 两个模型不能同时跑（都吃满双卡）；建议做成切换脚本
• 开机自启：strata-iq3s.service 仍 enabled，若让 radiance 常驻需禁用，避免重启抢卡

15. 附录 A：脚本与命令清单

A.1 引擎切换（~/radiance/bench/sb_engine.sh）

bash sb_engine.sh fp8|mxfp4|flashnext|strata|stop

A.2 基准套件（~/radiance/bench/，第一轮）

SB_BASE=http://127.0.0.1:8000 SB_MODEL=qwen35 python3 sb_quality.py fp8_27b
SB_BASE=http://127.0.0.1:8000 SB_MODEL=qwen35 python3 sb_speed.py   fp8_27b
SB_BASE=http://127.0.0.1:8000 SB_MODEL=qwen35 python3 sb_long.py    fp8_27b
bash sb_run_all.sh

A.3 严格评测框架（~/radiance/bench2/）

python3 make_testset.py                 # v1.0.1 冻结测试集（65 题计分）
python3 eval_quality.py --label X --base ... --model ...
python3 eval_speed.py --label X --session 1 --rounds 100 --warmup 20 --tokens 64
python3 eval_consistency.py collect/compare
python3 report.py results
bash run_all4.sh                        # 4 模型全量

A.4 Phase-2（210 题配对统计）

python3 make_testset2.py                # v2.1，210 题
python3 eval_quality2.py --label X --base ... --model ...
python3 eval_speed2.py   --label X --base ... --model ...
python3 rescore2.py      --label X --cat knowledge --base ... --model ...
python3 stats_compare.py results2       # McNemar + BH-FDR + Pareto
bash run_phase2.sh

A.5 服务调用示例

curl http://127.0.0.1:8000/v1/chat/completions \
  -H 'Authorization: Bearer ' \
  -H 'Content-Type: application/json' \
  -d '{"model":"qwen35","messages":[{"role":"user","content":"你好"}],"max_tokens":128}'

16. 附录 B：文件与路径索引

服务器（192.168.67.202）

本地（Windows）

17. 附录 C：错误、坑与修正记录

结束。本文件由对话全过程的部署与评测记录整理而成，所有数字均标注了对应的硬件、引擎版本、量化模式、输入参数与预热协议；不同轮次之间因样本量与统计方法不同，不能直接横向比较绝对值，应以每轮内部的配对检验为准。