单张 RTX 5060 Ti Ubuntu 上运行 Qwen3.8-Flash-Next(UD-Q4_K_XL,192K 上下文)的完整调优记录
-
Basalt 调优报告 — 2026-11-12
本机在单张 RTX 5060 Ti 上运行 Qwen3.8-Flash-Next(UD-Q4_K_XL,192K 上下文)的完整调优记录:
从 23 t/s 的基线到 55 t/s 的最终结果,以及调优过程中对内存与磁盘行为的两个有趣发现。
1. 硬件与软件
组件 规格 CPU 2 × Intel Xeon E5-2673 v3 @ 2.40 GHz(12 核 × 2,共 48 线程,2 个 NUMA 节点;无 AVX-512,专家内核走 AVX-2) 内存 125.7 GiB GPU NVIDIA RTX 5060 Ti 16 GB(Blackwell / sm_120,驱动 580.178.04) 磁盘 TEAM T253512GB,512 GB SATA SSD 系统 Ubuntu 24.04,内核 7.0.0-42-generic,x86_64 软件:Basalt 引擎 0.3.2(2026-11-08 从源码构建)+ Python server(
serve/),在127.0.0.1:8080提供 OpenAI / Anthropic / Responses 三种 API,basalt-visionsidecar 负责图像输入。2. 模型信息
Qwen3.8-Flash-Next(MoE)— UD-Q4_K_XL 量化包
- 模型文件
models/Qwen3.8-FN-UD-Q4_K_XL.basalt:115.3 GB(107.4 GiB),.basaltv2 格式 - 加载:76.9 GiB / 189 s —— 显存专家层 12.9 GiB + 内存专家层 64.0 GiB,全部专家驻留(无 SSD 冷层)
- 运行配置:上下文 192,000,KV 缓存
q4_0(>32K 部分弹性伸缩),spec 8投机解码,grammar 约束输出,单槽并发
3. 调优过程
当天日志显示:60–80K 上下文档位解码只有 ~23 t/s,专家缓存命中率仅 50%,且前缀恢复成本随深度上升。对比 Strata 的 192K 日志(0.1.59,
STRATA_ROUTE_TAIL_SKIP=7)后发现 Basalt 缺少这几个开关,逐一实测(每次用--restart重启服务端,按相同深度分段对比):配置 60K+ 深度解码 专家命中率 结论 无开关(基线) 23 t/s ~50% 起点 --route-tail-skip 727.5 t/s(+20%) — 保留 --route-tail-skip 7+--route-prior 1.555 t/s(约 2 倍) 85%+
核心收益--route-prior 1.5+--relaxed-drafting 0.547 t/s 85.5%
变慢,已移除各参数要点:
--route-tail-skip 7:跳过权重排名靠后、且无 GPU 层持有的专家——这台"会 miss 专家的卡"正是它的设计目标。--route-prior 1.5(本次最大收益):被持有的专家在选择时相当于概率放大 e^1.5 ≈ 4.5 倍,miss 大幅减少。官方质量门实测过 1.5/7 组合(PPL 代价个位数百分比),λ 往上(16)质量崩塌式变差,1.5 是文档推荐的甜点值。--relaxed-drafting 0.5:更激进地接受草稿 token;实测 55 → 47 t/s(工具调用型请求不吃这个 flag),已移除。expert-profile-save(data/profiles/qwen4exp-192k.prof,196 KB):专家适配结果每 10 分钟落盘,重启后热专家排布免费暖启动。
4. 最终结果
最终配置(写入
basalt_config_192k.json):"route-tail-skip": 7, "route-prior": 1.5, "expert-profile-save": "data/profiles/qwen4exp-192k.prof"对比强调:从基线 23 t/s → 稳态 50–55 t/s,深度解码提升约 2.4 倍。UI 仪表盘现场验证:76.6K 上下文时解码 52.5 tok/s、单请求峰值 71.3 t/s,专家命中率 87%;会话首次突破 148K 真实上下文,50+ t/s,约为同深度 Strata(0.1.59)的两倍——"深度衰减"问题彻底消失。
5. 有趣的发现
5.1 模型文件为什么比加载量大 30 GiB?
直接解析文件头(18 个 section):71.7 GiB 专家全部进入显存+内存层;差额主要在
gguf段(32.0 GiB)里的 PLE n-gram 表per_layer_token_embd.weight(IQ4_NL,26.8 GiB)。Basalt 默认--ple-io direct:这张表留在 SSD 上,每次生成 token 按 4 KiB 行级直读,不进引擎内存。另有 0.85 GiB 的 vision 投影器由 sidecar 原位读取。所以"文件 107.4 GiB、加载 76.9 GiB"是设计行为,不是异常。5.2 磁盘读写的真凶
运行中的 Basalt 进程 4 小时磁盘读 ~25.6 GiB(约 6 GB/h)、写仅 3 MB(profile 落盘)——读全部来自 PLE 直读。对照之下这正是 Strata 运行时无磁盘读、且内存多占 ~28 GiB 的原因:Strata 默认在 RAM 装得下时把整张 n-gram 表锁进 RAM(
STRATA_PLE_AUTO_RAM),也解释了之前"Strata 113 GiB vs Basalt 84.8 GiB"的差值。对 SSD 寿命而言读不占 TBW 写入预算,~50 TB/年的读率完全可忽略;若想消除这部分读流量,可改--ple-io ram(本机还有 ~39 GiB 余量可用)。 - 模型文件
-
-
-
-
RTX 50 Blackwell系列用 Basalt 直接起飛 , 5060 Ti 16G Decode 55 tok/s 都很夠用了
玩ComfyUI也舒服, 漲價前一張 RMB$4000 CP值高說不定2027年底前 5060 Ti 16G Decode 會破100 tok/s

-