RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文)
-
RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文)
先说明:这是我自己一台机器上的实测,每项只跑了一次或少数几次,没有大规模质量评测。对比数据取自我之前在同一台机器上用 Strata 的测试,不是同一时间窗口的严格对照。所有数字请当作量级参考。
TL;DR
- 官方
Qwen3.8-FN-NVFP4-DQ6_K.basalt文件 131.7 GB(122.6 GiB),在 96 GB 内存 + 16 GB 显存的机器上能放进去:启动日志显示常驻 67.8 GiB(显存 13.4 + 内存 54.4),没有专家留在 SSD。 - 预填充(读提示)5,400–6,000 tok/s;192K 附近的检索测试通过。生成速度随上下文变长从约 150 降到约 116 tok/s。
- 编程任务 A(写缓存加单元测试)重复 4 次全部通过,实测生成约 130 tok/s。
- 和我之前用 Strata 跑 UD-Q4_K_XL 相比,预填充快约 35–41%,生成快约 25–60%(长上下文检索里差距较小,编程任务里较大)。和 Strata + IQ3_S 相比,预填充快 21–37%,但长上下文下生成速度更低。
- 关键是"为什么能放进去":NVFP4 的专家只有 63.3 GiB,而 50.7 GiB 的 PLE 表放在 SSD 上读取,不占内存预算。下面有每个包的精确算法和数字。
1. 硬件与软件
项目 内容 GPU NVIDIA GeForce RTX 5080 16 GB(sm_120),PCIe 5.0 ×16,功率限制 300 W(默认 360 W) CPU Intel Core Ultra 7 265K(20 线程,无 AVX-512,Basalt 启动时有警告,专家内核走 AVX2) 内存 2×48 GB DDR5-6400,可用 93.7 GiB 存储 NVMe SSD(内核日志显示 Lexar NM990 1TB) 系统 Debian 13(命令行模式),内核 7.2.12(backports),Secure Boot 关闭 驱动 NVIDIA 620.70.06(开源内核模块);系统里只装了 CUDA 13.5 运行库(cudart、cuBLAS),没有装完整 Toolkit 引擎 Basalt v0.3.3 预编译包 basalt-v0.3.3-linux-x64.tar.gz(63.8 MB,SHA25611a40d39…729a8f,与 Release 页面的 digest 一致)模型 jesdga/Qwen3.8-Flash-Next-Basalt仓库(revision65de5a9e)的Qwen3.8-FN-NVFP4-DQ6_K.basalt,131,681,979,197 字节,SHA256177f9b70…15fad33(与 Hugging Face 记录一致)2. 配置
basalt_config.json(没有开任何会改变输出的选项):{ "version": 2, "models": [ { "alias": "qwen3.8-flash-next-nvfp4-dq6k", "model": "../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt", "gpu": "0", "kv": "int8", "max-context": 196608 } ], "engine": { "resident-experts": true }, "server": { "host": "127.0.0.1", "port": 8080 } }启动:
bin/basalt serve --config basalt_config.json(只设了LD_LIBRARY_PATH指向 CUDA 运行库;没有提升ulimit -l)。引擎默认选的:
spec=8(MTP 投机解码)、prefill auto、视觉关闭(images=off)、弹性 KV(kv 0.7/3.0 GiB cuda0 elastic)。没有使用relaxed-drafting、route-prior、route-tail-skip。3. 内存:为什么 132 GB 的包能在 96 GB 内存上跑
.basalt文件开头有 64 KiB 的头(魔数BASALTMF,每段一个 128 字节条目,含偏移和大小)。我用 HTTP Range 只读了头和meta段(JSON,含每个张量的类型和字节数),没有下载整个文件,就算出了每个包的构成。NVFP4-DQ6_K的构成(GiB):部分 大小 说明 专家(NVFP4) 63.28 NVIDIA 的 NVFP4 专家码原样搬运 稠密权重( gguf段去掉 PLE +dense段)6.36 Q6_K 等 hc、MTP 草稿器 1.43 必须常驻合计 71.08 放内存 + 显存 PLE 表 per_layer_token_embd.weight50.66 Q8_0,形状 [160, 320001536],54,400,261,120 字节,放在 SSD 上读取 视觉投影 0.85 本测试视觉关闭 所有 Qwen3.8-Flash-Next 包的对照(GiB,同样的算法,为我自己的计算

包 文件 PLE 类型 PLE 专家 常驻(去掉 PLE) UD-IQ1_S 65.57 IQ4_NL 26.82 31.10 37.85 UD-IQ1_M 67.09 IQ4_NL 26.82 32.42 39.37 UD-IQ2_XS 74.37 IQ4_NL 26.82 39.38 46.66 UD-IQ3_XXS 81.59 IQ4_NL 26.82 46.84 53.87 UD-IQ4_XS 90.94 IQ4_NL 26.82 56.24 63.22 UD-Q4_K_XL 107.39 IQ4_NL 26.82 71.73 79.67 NVFP4-DQ6_K 122.64 Q8_0 50.66 63.28 71.08 NVFP4-DQ8 123.28 Q8_0 50.66 63.28 71.72 UD-Q5_K_XL 151.12 Q8_0 50.66 91.61 99.56 UD-Q6_K_XL 161.25 Q8_0 50.66 101.75 109.69 Q8_0 179.00 Q8_0 50.66 119.53 127.44 交叉验证:用同样口径算 UD-Q4_K_XL 的专家是 71.73 GiB,和我之前用 Strata 跑它时日志里的
loaded 71.73 GiB完全一致。实测占用(Basalt 启动日志与系统快照):
项目 数值 加载 loaded 67.8GiB 16.4s cuda0=13.4GiB ram=54.4GiB(文件当时在页缓存里,刚做完 SHA256 校验,所以 16.4 秒不代表冷启动)日志警告 没有 experts on SSD警告系统内存 已用约 72.6–73.3 GB,可用约 22.6–23.3 GB(测试全程基本不变) 显存 15.2–15.3 GiB / 16 GiB 引擎进程磁盘读 一次 8K 提示 714 MiB,一次 65K 提示 379 MiB(数百 MiB 量级,与 PLE 在 SSD 上读取相符,我没有进一步拆分;系统页缓存约 23 GB) 峰值功耗 约 303 W(限制 300 W,每秒采样有轻微过冲) 4. 测试方法
- 检索:在约 8K / 32K / 64K / 128K / 188K token 的填充文本正中间埋一个暗号,问模型暗号是什么,
temperature=0,每档一次。输出只有一个暗号,所以"生成速度"偏高,不代表长文生成。 - 编程任务 A:几乎没有上下文,让模型写带单元测试的 TTL/LRU 缓存(类、淘汰规则、可注入计时器),用
unittest运行模型写的文件;max_tokens=30000(太小会把输出截断,我第一次就是这样失败的)。 - 编程任务 B / C:把真实 Python 标准库源码拼成约 86K / 约 151K token 的堆,正中间埋一个"定价模块"(阶梯折扣门槛 37 和 120、各地区税率、最低收费 5.00),让模型重写等价函数,用 11 个用例(含边界)与原模块比对。
- 速度字段取自响应的
timings。注意:Basalt 在长输出请求上,引擎报的predicted_per_second有时不可信:任务 A 四次里有两次报了 181.7 和 185.1 tok/s,而按"输出 token ÷ 总耗时"算只有 133.6 和 129.3 tok/s;其中第一次的"解码耗时"字段只有 11.3 秒,却对应 24,560 个输出 token,不可能。所以任务 A 的生成速度我一律用"输出 token ÷ 总耗时"。 - 请求必须带
model字段(Basalt 有多模型路由,不带会返回 404model is required)。
5. 结果
5.1 长上下文检索(提示处理 tok/s / 生成 tok/s)
输入 token Basalt NVFP4-DQ6_K(192K) Strata UD-Q4_K_XL(192K) Strata IQ3_S(256K) 暗号 7,883 4,402 / 133 3,267 / 82 3,626 / 144 
31,955 5,476 / 150 3,878 / 92 4,434 / 172 
65,332 5,975 / 138 4,229 / 92 4,371 / 168 
132,934 5,708 / 116 4,090 / 92 4,291 / 169 
187,865 5,490 / 118 3,958 / 96 (未测此长度) 
- 预填充:Basalt 比 Strata UD-Q4_K_XL 快约 35–41%,比 Strata IQ3_S 快约 21–37%。
- 生成:Basalt 从 150 降到 116 tok/s(长度从 32K 到 133K),Strata 的两组基本是平的。在 133K 处 Basalt 比 Strata IQ3_S 低约 31%。我没有深入查原因。
- 这个测试输出很短,生成速度会受推测解码接受率影响(Basalt 日志里接受率 79–97%)。
5.2 编程任务
任务 Basalt NVFP4-DQ6_K Strata UD-Q4_K_XL(同机) Strata IQ3_S(同机) A:缓存加单元测试 4/4 通过;输出 20,070–24,704 token,耗时 153.7–191.1 s,约 129–134 tok/s 4/4 通过;约 2.5 万 token,约 300 s,约 80 tok/s 通过(1 次);约 2.4 万 token,约 169 s,141 tok/s B:86K 上下文改写 11/11;输出 1,197 token,25.6 s;预填充 5,771,生成 112.5 11/11;1,040 token,36.9 s;预填充 3,994,生成 71.1 11/11;690 token,25.1 s;预填充 4,406,生成 127.7 C:151K 上下文改写 11/11;输出 953 token,35.6 s;预填充 5,652,生成 107.4 11/11;905 token,49.5 s;预填充 4,072,生成 73.2 (未测同长度;223K 时 11/11,70.3 s) - 任务 A 四次的单元测试数量是 19/21/20/18(模型每次自己写的数量不同)。
- B 的总耗时 Basalt 和 Strata IQ3_S 几乎一样(25.6 对 25.1 s),因为 Basalt 预填充更快,但这次输出了更多 token、生成更慢。
6. DQ6_K 与 DQ8 的区别(引用 Basalt 文档,我没有测 DQ8)
名字里的 D 指稠密投影层的格式:DQ6_K 是 Q6_K,DQ8 是 Q8_0;专家、PLE 完全相同。
- 大小:DQ8 文件多 0.64 GiB(123.28 对 122.64 GiB)。
- 质量(文档数据):默认配置 KLD 0.06213、top-1 91.59%;换成 Q8_0 稠密层 KLD 降约 0.0059、top-1 提高约 0.55 个百分点。文档称这是默认配置里唯一有可测量代价的舍入。
- 速度(文档数据,双卡 RTX 5090 + 5060 Ti):DQ8 解码慢约 5–9%,预填充慢约 1%。文档另一处写"散文慢约 7%、结构化输出慢约 3%",与表里的结构化数字(约 9%)不一致。
7. 局限
- 只在一台机器上测,每项一次(任务 A 四次),1–5% 的差异在噪声范围内。
- 只测了 192K,没有测 256K;检索最大 188K,没有跑满。
- 编程任务只证明"长上下文里检索加改写能做对",不代表大型代码库里的复杂推理质量。没有测困惑度或其他质量指标。
- 没有测
route-tail-skip、route-prior、relaxed-drafting这些会改变输出的选项(帖子和文档里提到的提速手段)。 - 与 Strata 的对比不是同窗口严格对照:Strata IQ3_S 是 256K 上下文、DFlash2 草稿器、经 systemd 运行;Strata UD-Q4_K_XL 和 Basalt 是 192K。Basalt 用 MTP 草稿器。Basalt 的"思考预算"还会随输出上限自动缩放(日志里
thinking budget 200 tokens, output cap 400 (answer-room auto)),短输出测试里这可能影响输出长度。 - 页缓存状态不同:Basalt 加载时文件在页缓存里,冷启动时间我没有测。
- 引擎在长输出请求上报的解码速度字段不可靠(见第 4 节),任务 A 的速度我用的是总耗时折算值。
8. 复现
# 取 Basalt 预编译包并校验(digest 以 Release 页面为准) wget https://github.com/jesdga95/basalt/releases/download/v0.3.3/basalt-v0.3.3-linux-x64.tar.gz sha256sum basalt-v0.3.3-linux-x64.tar.gz # 11a40d39890531b62516a4f84e4cedb1b7c6cc1113827e50cc10ab0073729a8f tar xzf basalt-v0.3.3-linux-x64.tar.gz && cd basalt-v0.3.3-linux-x64 python3 -m venv .venv && .venv/bin/pip install -r requirements.txt # 需要 python3-venv # 需要 R580 以上驱动和 CUDA 13 运行库(cudart、cuBLAS) export LD_LIBRARY_PATH=/usr/local/cuda-13.5/lib64:$LD_LIBRARY_PATH # 模型(可续传),下完核对 SHA256 wget -c -O ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt \ https://huggingface.co/jesdga/Qwen3.8-Flash-Next-Basalt/resolve/65de5a9e636e8bbe1200cbcd6eb8aa421e6a66c6/Qwen3.8-FN-NVFP4-DQ6_K.basalt sha256sum ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt # 177f9b70c63ecd7efd17fc705ad85a8c8253d59e4f04dd10a001b556d15fad33 bin/basalt serve --config basalt_config.json # 配置见第 2 节请求示例(注意要带
model
curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' \ -d '{"model":"qwen3.8-flash-next-nvfp4-dq6k","messages":[{"role":"user","content":"你好"}],"max_tokens":200}'读取任意包的构成(不用下载整个文件):用 HTTP Range 取文件开头 64 KiB,按
FileHeader(64 字节:魔数 8、版本 4、段数 4、文件大小 8、保留 40)加每段 128 字节条目(名字 64、偏移 8、大小 8、SHA256 32、保留 16)解析;meta段是 JSON,tensors里有每个张量的类型和字节数。9. 想请教的
- 有人在 16 GB 显卡上对比过 DQ6_K 和
UD-IQ4_XS/UD-IQ3_XXS的速度吗?我只测了 DQ6_K。 - Basalt 长上下文下生成速度从 150 降到 116 tok/s,Strata 同条件下基本是平的,有人知道原因吗?(我猜与专家缓存命中率和 KV 流式有关,没有验证)
- 引擎在长输出请求上报的
predicted_per_second不一致,是已知问题吗?
- 官方
-
-
5.3 补测:
route-prior与route-tail-skip(会改变输出的选项)参考帖子(Basalt 0.3.2、RTX 5060 Ti)里提速最多的就是这两个选项。Basalt 文档把它们归为"有损":
route-prior LAMBDA给显存里已有专家的路由 logit 加 LAMBDA(偏向已缓存专家),route-tail-skip R在显存里没有的专家排名不高于 R 时直接跳过。每次只改engine里的这几项,其余同第 2 节,每个变体重启一次引擎,并确认参数确实出现在引擎进程命令行里(启动日志同时有lossy flags enabled警告)。基线是前一天同配置的结果,不是同一次开机测的。"engine": { "resident-experts": true, "route-prior": 1.5, "route-tail-skip": 7 }编程任务 A(输出约 2 万多 token,速度用"输出 token ÷ 总耗时",每个变体 4 次):
变体 通过 生成速度 tok/s 相对基线 基线 4/4 129–134 – route-tail-skip 73/4(1 次 2 个测试失败) 161–173 +28% route-prior 1.54/4 256–273 +100% 两个都开 4/4 244–270 +96% 长上下文检索(提示处理 / 生成 tok/s,暗号全部找回):
输入 基线 tail-skip 7 prior 1.5 两个都开 8K 4401 / 132 4476 / 179 4472 / 277 4463 / 276 32K 5476 / 149 5555 / 182 5534 / 273 5538 / 285 65K 5974 / 137 5972 / 184 5977 / 264 5967 / 288 133K 5708 / 115 5726 / 165 5712 / 239 5703 / 240 188K 5489 / 118 5499 / 148 5491 / 225 5485 / 236 编程任务 B / C(生成 tok/s,全部 11/11 通过):基线 112 / 107;tail-skip 136 / 138;prior 254 / 234;两个都开 262 / 245。
专家缓存命中率(服务端日志里各请求
hit=的中位数):基线 64%,tail-skip 72%,prior 97%,两个都开 97%。内存/显存占用与基线一致(约 73 GB / 15.2 GiB)。要点:
route-prior 1.5是主要增益,生成速度约翻倍,预填充不变。route-tail-skip 7单开约 +28%,和 prior 一起开时没有额外收益。这与帖子的趋势一致(帖子里 23 → 27.5 → 55 tok/s)。- 命中率从 64% 升到 97%,很可能是提速的原因;同时它也解释了 5.1 里基线"长上下文下生成变慢"(命中率随上下文下降)被抹平了大半。这是相关性,我没有单独验证。
- 质量代价我没有测出明确结论。我只有任务 A 的通过次数(prior 4/4、两个都开 4/4、tail-skip 3/4),样本太小,不能说明差异;tail-skip 那次失败是模型写的测试有问题还是缓存实现有问题,我没有逐个检查。没有跑困惑度/KLD。帖子作者说
route-prior取 1.5 是安全点、取 16 会严重退化,文档也提供了质量门,这里均未复现。 - 这两个选项会改变输出(同一提示的答案可能不同),不适合需要可复现结果的场合。
-
,
K kos or 引用了 此主题
-
-
感觉basalt的专用格式可能有点问题,我测了nvfp4 和iq4s的长编程任务,basalt上都会错,而且nvfp4固定位置错,就换回strata了,不过basalt 确实快,5070TI 16g速度prefill4800,decode7-80,内存机制不够starta稳。
-
RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文)
先说明:这是我自己一台机器上的实测,每项只跑了一次或少数几次,没有大规模质量评测。对比数据取自我之前在同一台机器上用 Strata 的测试,不是同一时间窗口的严格对照。所有数字请当作量级参考。
TL;DR
- 官方
Qwen3.8-FN-NVFP4-DQ6_K.basalt文件 131.7 GB(122.6 GiB),在 96 GB 内存 + 16 GB 显存的机器上能放进去:启动日志显示常驻 67.8 GiB(显存 13.4 + 内存 54.4),没有专家留在 SSD。 - 预填充(读提示)5,400–6,000 tok/s;192K 附近的检索测试通过。生成速度随上下文变长从约 150 降到约 116 tok/s。
- 编程任务 A(写缓存加单元测试)重复 4 次全部通过,实测生成约 130 tok/s。
- 和我之前用 Strata 跑 UD-Q4_K_XL 相比,预填充快约 35–41%,生成快约 25–60%(长上下文检索里差距较小,编程任务里较大)。和 Strata + IQ3_S 相比,预填充快 21–37%,但长上下文下生成速度更低。
- 关键是"为什么能放进去":NVFP4 的专家只有 63.3 GiB,而 50.7 GiB 的 PLE 表放在 SSD 上读取,不占内存预算。下面有每个包的精确算法和数字。
1. 硬件与软件
项目 内容 GPU NVIDIA GeForce RTX 5080 16 GB(sm_120),PCIe 5.0 ×16,功率限制 300 W(默认 360 W) CPU Intel Core Ultra 7 265K(20 线程,无 AVX-512,Basalt 启动时有警告,专家内核走 AVX2) 内存 2×48 GB DDR5-6400,可用 93.7 GiB 存储 NVMe SSD(内核日志显示 Lexar NM990 1TB) 系统 Debian 13(命令行模式),内核 7.2.12(backports),Secure Boot 关闭 驱动 NVIDIA 620.70.06(开源内核模块);系统里只装了 CUDA 13.5 运行库(cudart、cuBLAS),没有装完整 Toolkit 引擎 Basalt v0.3.3 预编译包 basalt-v0.3.3-linux-x64.tar.gz(63.8 MB,SHA25611a40d39…729a8f,与 Release 页面的 digest 一致)模型 jesdga/Qwen3.8-Flash-Next-Basalt仓库(revision65de5a9e)的Qwen3.8-FN-NVFP4-DQ6_K.basalt,131,681,979,197 字节,SHA256177f9b70…15fad33(与 Hugging Face 记录一致)2. 配置
basalt_config.json(没有开任何会改变输出的选项):{ "version": 2, "models": [ { "alias": "qwen3.8-flash-next-nvfp4-dq6k", "model": "../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt", "gpu": "0", "kv": "int8", "max-context": 196608 } ], "engine": { "resident-experts": true }, "server": { "host": "127.0.0.1", "port": 8080 } }启动:
bin/basalt serve --config basalt_config.json(只设了LD_LIBRARY_PATH指向 CUDA 运行库;没有提升ulimit -l)。引擎默认选的:
spec=8(MTP 投机解码)、prefill auto、视觉关闭(images=off)、弹性 KV(kv 0.7/3.0 GiB cuda0 elastic)。没有使用relaxed-drafting、route-prior、route-tail-skip。3. 内存:为什么 132 GB 的包能在 96 GB 内存上跑
.basalt文件开头有 64 KiB 的头(魔数BASALTMF,每段一个 128 字节条目,含偏移和大小)。我用 HTTP Range 只读了头和meta段(JSON,含每个张量的类型和字节数),没有下载整个文件,就算出了每个包的构成。NVFP4-DQ6_K的构成(GiB):部分 大小 说明 专家(NVFP4) 63.28 NVIDIA 的 NVFP4 专家码原样搬运 稠密权重( gguf段去掉 PLE +dense段)6.36 Q6_K 等 hc、MTP 草稿器 1.43 必须常驻合计 71.08 放内存 + 显存 PLE 表 per_layer_token_embd.weight50.66 Q8_0,形状 [160, 320001536],54,400,261,120 字节,放在 SSD 上读取 视觉投影 0.85 本测试视觉关闭 所有 Qwen3.8-Flash-Next 包的对照(GiB,同样的算法,为我自己的计算

包 文件 PLE 类型 PLE 专家 常驻(去掉 PLE) UD-IQ1_S 65.57 IQ4_NL 26.82 31.10 37.85 UD-IQ1_M 67.09 IQ4_NL 26.82 32.42 39.37 UD-IQ2_XS 74.37 IQ4_NL 26.82 39.38 46.66 UD-IQ3_XXS 81.59 IQ4_NL 26.82 46.84 53.87 UD-IQ4_XS 90.94 IQ4_NL 26.82 56.24 63.22 UD-Q4_K_XL 107.39 IQ4_NL 26.82 71.73 79.67 NVFP4-DQ6_K 122.64 Q8_0 50.66 63.28 71.08 NVFP4-DQ8 123.28 Q8_0 50.66 63.28 71.72 UD-Q5_K_XL 151.12 Q8_0 50.66 91.61 99.56 UD-Q6_K_XL 161.25 Q8_0 50.66 101.75 109.69 Q8_0 179.00 Q8_0 50.66 119.53 127.44 交叉验证:用同样口径算 UD-Q4_K_XL 的专家是 71.73 GiB,和我之前用 Strata 跑它时日志里的
loaded 71.73 GiB完全一致。实测占用(Basalt 启动日志与系统快照):
项目 数值 加载 loaded 67.8GiB 16.4s cuda0=13.4GiB ram=54.4GiB(文件当时在页缓存里,刚做完 SHA256 校验,所以 16.4 秒不代表冷启动)日志警告 没有 experts on SSD警告系统内存 已用约 72.6–73.3 GB,可用约 22.6–23.3 GB(测试全程基本不变) 显存 15.2–15.3 GiB / 16 GiB 引擎进程磁盘读 一次 8K 提示 714 MiB,一次 65K 提示 379 MiB(数百 MiB 量级,与 PLE 在 SSD 上读取相符,我没有进一步拆分;系统页缓存约 23 GB) 峰值功耗 约 303 W(限制 300 W,每秒采样有轻微过冲) 4. 测试方法
- 检索:在约 8K / 32K / 64K / 128K / 188K token 的填充文本正中间埋一个暗号,问模型暗号是什么,
temperature=0,每档一次。输出只有一个暗号,所以"生成速度"偏高,不代表长文生成。 - 编程任务 A:几乎没有上下文,让模型写带单元测试的 TTL/LRU 缓存(类、淘汰规则、可注入计时器),用
unittest运行模型写的文件;max_tokens=30000(太小会把输出截断,我第一次就是这样失败的)。 - 编程任务 B / C:把真实 Python 标准库源码拼成约 86K / 约 151K token 的堆,正中间埋一个"定价模块"(阶梯折扣门槛 37 和 120、各地区税率、最低收费 5.00),让模型重写等价函数,用 11 个用例(含边界)与原模块比对。
- 速度字段取自响应的
timings。注意:Basalt 在长输出请求上,引擎报的predicted_per_second有时不可信:任务 A 四次里有两次报了 181.7 和 185.1 tok/s,而按"输出 token ÷ 总耗时"算只有 133.6 和 129.3 tok/s;其中第一次的"解码耗时"字段只有 11.3 秒,却对应 24,560 个输出 token,不可能。所以任务 A 的生成速度我一律用"输出 token ÷ 总耗时"。 - 请求必须带
model字段(Basalt 有多模型路由,不带会返回 404model is required)。
5. 结果
5.1 长上下文检索(提示处理 tok/s / 生成 tok/s)
输入 token Basalt NVFP4-DQ6_K(192K) Strata UD-Q4_K_XL(192K) Strata IQ3_S(256K) 暗号 7,883 4,402 / 133 3,267 / 82 3,626 / 144 
31,955 5,476 / 150 3,878 / 92 4,434 / 172 
65,332 5,975 / 138 4,229 / 92 4,371 / 168 
132,934 5,708 / 116 4,090 / 92 4,291 / 169 
187,865 5,490 / 118 3,958 / 96 (未测此长度) 
- 预填充:Basalt 比 Strata UD-Q4_K_XL 快约 35–41%,比 Strata IQ3_S 快约 21–37%。
- 生成:Basalt 从 150 降到 116 tok/s(长度从 32K 到 133K),Strata 的两组基本是平的。在 133K 处 Basalt 比 Strata IQ3_S 低约 31%。我没有深入查原因。
- 这个测试输出很短,生成速度会受推测解码接受率影响(Basalt 日志里接受率 79–97%)。
5.2 编程任务
任务 Basalt NVFP4-DQ6_K Strata UD-Q4_K_XL(同机) Strata IQ3_S(同机) A:缓存加单元测试 4/4 通过;输出 20,070–24,704 token,耗时 153.7–191.1 s,约 129–134 tok/s 4/4 通过;约 2.5 万 token,约 300 s,约 80 tok/s 通过(1 次);约 2.4 万 token,约 169 s,141 tok/s B:86K 上下文改写 11/11;输出 1,197 token,25.6 s;预填充 5,771,生成 112.5 11/11;1,040 token,36.9 s;预填充 3,994,生成 71.1 11/11;690 token,25.1 s;预填充 4,406,生成 127.7 C:151K 上下文改写 11/11;输出 953 token,35.6 s;预填充 5,652,生成 107.4 11/11;905 token,49.5 s;预填充 4,072,生成 73.2 (未测同长度;223K 时 11/11,70.3 s) - 任务 A 四次的单元测试数量是 19/21/20/18(模型每次自己写的数量不同)。
- B 的总耗时 Basalt 和 Strata IQ3_S 几乎一样(25.6 对 25.1 s),因为 Basalt 预填充更快,但这次输出了更多 token、生成更慢。
6. DQ6_K 与 DQ8 的区别(引用 Basalt 文档,我没有测 DQ8)
名字里的 D 指稠密投影层的格式:DQ6_K 是 Q6_K,DQ8 是 Q8_0;专家、PLE 完全相同。
- 大小:DQ8 文件多 0.64 GiB(123.28 对 122.64 GiB)。
- 质量(文档数据):默认配置 KLD 0.06213、top-1 91.59%;换成 Q8_0 稠密层 KLD 降约 0.0059、top-1 提高约 0.55 个百分点。文档称这是默认配置里唯一有可测量代价的舍入。
- 速度(文档数据,双卡 RTX 5090 + 5060 Ti):DQ8 解码慢约 5–9%,预填充慢约 1%。文档另一处写"散文慢约 7%、结构化输出慢约 3%",与表里的结构化数字(约 9%)不一致。
7. 局限
- 只在一台机器上测,每项一次(任务 A 四次),1–5% 的差异在噪声范围内。
- 只测了 192K,没有测 256K;检索最大 188K,没有跑满。
- 编程任务只证明"长上下文里检索加改写能做对",不代表大型代码库里的复杂推理质量。没有测困惑度或其他质量指标。
- 没有测
route-tail-skip、route-prior、relaxed-drafting这些会改变输出的选项(帖子和文档里提到的提速手段)。 - 与 Strata 的对比不是同窗口严格对照:Strata IQ3_S 是 256K 上下文、DFlash2 草稿器、经 systemd 运行;Strata UD-Q4_K_XL 和 Basalt 是 192K。Basalt 用 MTP 草稿器。Basalt 的"思考预算"还会随输出上限自动缩放(日志里
thinking budget 200 tokens, output cap 400 (answer-room auto)),短输出测试里这可能影响输出长度。 - 页缓存状态不同:Basalt 加载时文件在页缓存里,冷启动时间我没有测。
- 引擎在长输出请求上报的解码速度字段不可靠(见第 4 节),任务 A 的速度我用的是总耗时折算值。
8. 复现
# 取 Basalt 预编译包并校验(digest 以 Release 页面为准) wget https://github.com/jesdga95/basalt/releases/download/v0.3.3/basalt-v0.3.3-linux-x64.tar.gz sha256sum basalt-v0.3.3-linux-x64.tar.gz # 11a40d39890531b62516a4f84e4cedb1b7c6cc1113827e50cc10ab0073729a8f tar xzf basalt-v0.3.3-linux-x64.tar.gz && cd basalt-v0.3.3-linux-x64 python3 -m venv .venv && .venv/bin/pip install -r requirements.txt # 需要 python3-venv # 需要 R580 以上驱动和 CUDA 13 运行库(cudart、cuBLAS) export LD_LIBRARY_PATH=/usr/local/cuda-13.5/lib64:$LD_LIBRARY_PATH # 模型(可续传),下完核对 SHA256 wget -c -O ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt \ https://huggingface.co/jesdga/Qwen3.8-Flash-Next-Basalt/resolve/65de5a9e636e8bbe1200cbcd6eb8aa421e6a66c6/Qwen3.8-FN-NVFP4-DQ6_K.basalt sha256sum ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt # 177f9b70c63ecd7efd17fc705ad85a8c8253d59e4f04dd10a001b556d15fad33 bin/basalt serve --config basalt_config.json # 配置见第 2 节请求示例(注意要带
model
curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' \ -d '{"model":"qwen3.8-flash-next-nvfp4-dq6k","messages":[{"role":"user","content":"你好"}],"max_tokens":200}'读取任意包的构成(不用下载整个文件):用 HTTP Range 取文件开头 64 KiB,按
FileHeader(64 字节:魔数 8、版本 4、段数 4、文件大小 8、保留 40)加每段 128 字节条目(名字 64、偏移 8、大小 8、SHA256 32、保留 16)解析;meta段是 JSON,tensors里有每个张量的类型和字节数。9. 想请教的
- 有人在 16 GB 显卡上对比过 DQ6_K 和
UD-IQ4_XS/UD-IQ3_XXS的速度吗?我只测了 DQ6_K。 - Basalt 长上下文下生成速度从 150 降到 116 tok/s,Strata 同条件下基本是平的,有人知道原因吗?(我猜与专家缓存命中率和 KV 流式有关,没有验证)
- 引擎在长输出请求上报的
predicted_per_second不一致,是已知问题吗?
- 官方