Basalt 调优报告 — 2026-11-12
本机在单张 RTX 5060 Ti 上运行 Qwen3.8-Flash-Next(UD-Q4_K_XL,192K 上下文)的完整调优记录:
从 23 t/s 的基线到 55 t/s 的最终结果,以及调优过程中对内存与磁盘行为的两个有趣发现。
1. 硬件与软件
| 组件 | 规格 |
|---|---|
| CPU | 2 × Intel Xeon E5-2673 v3 @ 2.40 GHz(12 核 × 2,共 48 线程,2 个 NUMA 节点;无 AVX-512,专家内核走 AVX-2) |
| 内存 | 125.7 GiB |
| GPU | NVIDIA RTX 5060 Ti 16 GB(Blackwell / sm_120,驱动 580.178.04) |
| 磁盘 | TEAM T253512GB,512 GB SATA SSD |
| 系统 | Ubuntu 24.04,内核 7.0.0-42-generic,x86_64 |
软件:Basalt 引擎 0.3.2(2026-11-08 从源码构建)+ Python server(serve/),在 127.0.0.1:8080 提供 OpenAI / Anthropic / Responses 三种 API,basalt-vision sidecar 负责图像输入。
2. 模型信息
Qwen3.8-Flash-Next(MoE)— UD-Q4_K_XL 量化包
- 模型文件
models/Qwen3.8-FN-UD-Q4_K_XL.basalt:115.3 GB(107.4 GiB),.basaltv2 格式 - 加载:76.9 GiB / 189 s —— 显存专家层 12.9 GiB + 内存专家层 64.0 GiB,全部专家驻留(无 SSD 冷层)
- 运行配置:上下文 192,000,KV 缓存
q4_0(>32K 部分弹性伸缩),spec 8投机解码,grammar 约束输出,单槽并发
3. 调优过程
当天日志显示:60–80K 上下文档位解码只有 ~23 t/s,专家缓存命中率仅 50%,且前缀恢复成本随深度上升。对比 Strata 的 192K 日志(0.1.59,STRATA_ROUTE_TAIL_SKIP=7)后发现 Basalt 缺少这几个开关,逐一实测(每次用 --restart 重启服务端,按相同深度分段对比):
| 配置 | 60K+ 深度解码 | 专家命中率 | 结论 |
|---|---|---|---|
| 无开关(基线) | 23 t/s | ~50% | 起点 |
--route-tail-skip 7 |
27.5 t/s(+20%) | — | 保留 |
--route-tail-skip 7 + --route-prior 1.5 |
55 t/s(约 2 倍) | 85%+ | 核心收益 |
--route-prior 1.5 + --relaxed-drafting 0.5 |
47 t/s | 85.5% | 变慢,已移除 |
各参数要点:
--route-tail-skip 7:跳过权重排名靠后、且无 GPU 层持有的专家——这台"会 miss 专家的卡"正是它的设计目标。--route-prior 1.5(本次最大收益):被持有的专家在选择时相当于概率放大 e^1.5 ≈ 4.5 倍,miss 大幅减少。官方质量门实测过 1.5/7 组合(PPL 代价个位数百分比),λ 往上(16)质量崩塌式变差,1.5 是文档推荐的甜点值。--relaxed-drafting 0.5:更激进地接受草稿 token;实测 55 → 47 t/s(工具调用型请求不吃这个 flag),已移除。expert-profile-save(data/profiles/qwen4exp-192k.prof,196 KB):专家适配结果每 10 分钟落盘,重启后热专家排布免费暖启动。
4. 最终结果
最终配置(写入 basalt_config_192k.json):
"route-tail-skip": 7,
"route-prior": 1.5,
"expert-profile-save": "data/profiles/qwen4exp-192k.prof"
对比强调:从基线 23 t/s → 稳态 50–55 t/s,深度解码提升约 2.4 倍。UI 仪表盘现场验证:76.6K 上下文时解码 52.5 tok/s、单请求峰值 71.3 t/s,专家命中率 87%;会话首次突破 148K 真实上下文,50+ t/s,约为同深度 Strata(0.1.59)的两倍——"深度衰减"问题彻底消失。
5. 有趣的发现
5.1 模型文件为什么比加载量大 30 GiB?
直接解析文件头(18 个 section):71.7 GiB 专家全部进入显存+内存层;差额主要在 gguf 段(32.0 GiB)里的 PLE n-gram 表 per_layer_token_embd.weight(IQ4_NL,26.8 GiB)。Basalt 默认 --ple-io direct:这张表留在 SSD 上,每次生成 token 按 4 KiB 行级直读,不进引擎内存。另有 0.85 GiB 的 vision 投影器由 sidecar 原位读取。所以"文件 107.4 GiB、加载 76.9 GiB"是设计行为,不是异常。
5.2 磁盘读写的真凶
运行中的 Basalt 进程 4 小时磁盘读 ~25.6 GiB(约 6 GB/h)、写仅 3 MB(profile 落盘)——读全部来自 PLE 直读。对照之下这正是 Strata 运行时无磁盘读、且内存多占 ~28 GiB 的原因:Strata 默认在 RAM 装得下时把整张 n-gram 表锁进 RAM(STRATA_PLE_AUTO_RAM),也解释了之前"Strata 113 GiB vs Basalt 84.8 GiB"的差值。对 SSD 寿命而言读不占 TBW 写入预算,~50 TB/年的读率完全可忽略;若想消除这部分读流量,可改 --ple-io ram(本机还有 ~39 GiB 余量可用)。
核心收益
变慢,已移除