RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文)
先说明:这是我自己一台机器上的实测,每项只跑了一次或少数几次,没有大规模质量评测。对比数据取自我之前在同一台机器上用 Strata 的测试,不是同一时间窗口的严格对照。所有数字请当作量级参考。
TL;DR
- 官方
Qwen3.8-FN-NVFP4-DQ6_K.basalt 文件 131.7 GB(122.6 GiB),在 96 GB 内存 + 16 GB 显存的机器上能放进去:启动日志显示常驻 67.8 GiB(显存 13.4 + 内存 54.4),没有专家留在 SSD。
- 预填充(读提示)5,400–6,000 tok/s;192K 附近的检索测试通过。生成速度随上下文变长从约 150 降到约 116 tok/s。
- 编程任务 A(写缓存加单元测试)重复 4 次全部通过,实测生成约 130 tok/s。
- 和我之前用 Strata 跑 UD-Q4_K_XL 相比,预填充快约 35–41%,生成快约 25–60%(长上下文检索里差距较小,编程任务里较大)。和 Strata + IQ3_S 相比,预填充快 21–37%,但长上下文下生成速度更低。
- 关键是"为什么能放进去":NVFP4 的专家只有 63.3 GiB,而 50.7 GiB 的 PLE 表放在 SSD 上读取,不占内存预算。下面有每个包的精确算法和数字。
1. 硬件与软件
| 项目 |
内容 |
| GPU |
NVIDIA GeForce RTX 5080 16 GB(sm_120),PCIe 5.0 ×16,功率限制 300 W(默认 360 W) |
| CPU |
Intel Core Ultra 7 265K(20 线程,无 AVX-512,Basalt 启动时有警告,专家内核走 AVX2) |
| 内存 |
2×48 GB DDR5-6400,可用 93.7 GiB |
| 存储 |
NVMe SSD(内核日志显示 Lexar NM990 1TB) |
| 系统 |
Debian 13(命令行模式),内核 7.2.12(backports),Secure Boot 关闭 |
| 驱动 |
NVIDIA 620.70.06(开源内核模块);系统里只装了 CUDA 13.5 运行库(cudart、cuBLAS),没有装完整 Toolkit |
| 引擎 |
Basalt v0.3.3 预编译包 basalt-v0.3.3-linux-x64.tar.gz(63.8 MB,SHA256 11a40d39…729a8f,与 Release 页面的 digest 一致) |
| 模型 |
jesdga/Qwen3.8-Flash-Next-Basalt 仓库(revision 65de5a9e)的 Qwen3.8-FN-NVFP4-DQ6_K.basalt,131,681,979,197 字节,SHA256 177f9b70…15fad33(与 Hugging Face 记录一致) |
2. 配置
basalt_config.json(没有开任何会改变输出的选项):
{
"version": 2,
"models": [
{ "alias": "qwen3.8-flash-next-nvfp4-dq6k",
"model": "../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt",
"gpu": "0", "kv": "int8", "max-context": 196608 }
],
"engine": { "resident-experts": true },
"server": { "host": "127.0.0.1", "port": 8080 }
}
启动:bin/basalt serve --config basalt_config.json(只设了 LD_LIBRARY_PATH 指向 CUDA 运行库;没有提升 ulimit -l)。
引擎默认选的:spec=8(MTP 投机解码)、prefill auto、视觉关闭(images=off)、弹性 KV(kv 0.7/3.0 GiB cuda0 elastic)。没有使用 relaxed-drafting、route-prior、route-tail-skip。
3. 内存:为什么 132 GB 的包能在 96 GB 内存上跑
.basalt 文件开头有 64 KiB 的头(魔数 BASALTMF,每段一个 128 字节条目,含偏移和大小)。我用 HTTP Range 只读了头和 meta 段(JSON,含每个张量的类型和字节数),没有下载整个文件,就算出了每个包的构成。
NVFP4-DQ6_K 的构成(GiB):
| 部分 |
大小 |
说明 |
| 专家(NVFP4) |
63.28 |
NVIDIA 的 NVFP4 专家码原样搬运 |
稠密权重(gguf 段去掉 PLE + dense 段) |
6.36 |
Q6_K 等 |
| hc、MTP 草稿器 |
1.43 |
|
| 必须常驻合计 |
71.08 |
放内存 + 显存 |
PLE 表 per_layer_token_embd.weight |
50.66 |
Q8_0,形状 [160, 320001536],54,400,261,120 字节,放在 SSD 上读取 |
| 视觉投影 |
0.85 |
本测试视觉关闭 |
所有 Qwen3.8-Flash-Next 包的对照(GiB,同样的算法,为我自己的计算
| 包 |
文件 |
PLE 类型 |
PLE |
专家 |
常驻(去掉 PLE) |
| UD-IQ1_S |
65.57 |
IQ4_NL |
26.82 |
31.10 |
37.85 |
| UD-IQ1_M |
67.09 |
IQ4_NL |
26.82 |
32.42 |
39.37 |
| UD-IQ2_XS |
74.37 |
IQ4_NL |
26.82 |
39.38 |
46.66 |
| UD-IQ3_XXS |
81.59 |
IQ4_NL |
26.82 |
46.84 |
53.87 |
| UD-IQ4_XS |
90.94 |
IQ4_NL |
26.82 |
56.24 |
63.22 |
| UD-Q4_K_XL |
107.39 |
IQ4_NL |
26.82 |
71.73 |
79.67 |
| NVFP4-DQ6_K |
122.64 |
Q8_0 |
50.66 |
63.28 |
71.08 |
| NVFP4-DQ8 |
123.28 |
Q8_0 |
50.66 |
63.28 |
71.72 |
| UD-Q5_K_XL |
151.12 |
Q8_0 |
50.66 |
91.61 |
99.56 |
| UD-Q6_K_XL |
161.25 |
Q8_0 |
50.66 |
101.75 |
109.69 |
| Q8_0 |
179.00 |
Q8_0 |
50.66 |
119.53 |
127.44 |
交叉验证:用同样口径算 UD-Q4_K_XL 的专家是 71.73 GiB,和我之前用 Strata 跑它时日志里的 loaded 71.73 GiB 完全一致。
实测占用(Basalt 启动日志与系统快照):
| 项目 |
数值 |
| 加载 |
loaded 67.8GiB 16.4s cuda0=13.4GiB ram=54.4GiB(文件当时在页缓存里,刚做完 SHA256 校验,所以 16.4 秒不代表冷启动) |
| 日志警告 |
没有 experts on SSD 警告 |
| 系统内存 |
已用约 72.6–73.3 GB,可用约 22.6–23.3 GB(测试全程基本不变) |
| 显存 |
15.2–15.3 GiB / 16 GiB |
| 引擎进程磁盘读 |
一次 8K 提示 714 MiB,一次 65K 提示 379 MiB(数百 MiB 量级,与 PLE 在 SSD 上读取相符,我没有进一步拆分;系统页缓存约 23 GB) |
| 峰值功耗 |
约 303 W(限制 300 W,每秒采样有轻微过冲) |
4. 测试方法
- 检索:在约 8K / 32K / 64K / 128K / 188K token 的填充文本正中间埋一个暗号,问模型暗号是什么,
temperature=0,每档一次。输出只有一个暗号,所以"生成速度"偏高,不代表长文生成。
- 编程任务 A:几乎没有上下文,让模型写带单元测试的 TTL/LRU 缓存(类、淘汰规则、可注入计时器),用
unittest 运行模型写的文件;max_tokens=30000(太小会把输出截断,我第一次就是这样失败的)。
- 编程任务 B / C:把真实 Python 标准库源码拼成约 86K / 约 151K token 的堆,正中间埋一个"定价模块"(阶梯折扣门槛 37 和 120、各地区税率、最低收费 5.00),让模型重写等价函数,用 11 个用例(含边界)与原模块比对。
- 速度字段取自响应的
timings。注意:Basalt 在长输出请求上,引擎报的 predicted_per_second 有时不可信:任务 A 四次里有两次报了 181.7 和 185.1 tok/s,而按"输出 token ÷ 总耗时"算只有 133.6 和 129.3 tok/s;其中第一次的"解码耗时"字段只有 11.3 秒,却对应 24,560 个输出 token,不可能。所以任务 A 的生成速度我一律用"输出 token ÷ 总耗时"。
- 请求必须带
model 字段(Basalt 有多模型路由,不带会返回 404 model is required)。
5. 结果
5.1 长上下文检索(提示处理 tok/s / 生成 tok/s)
| 输入 token |
Basalt NVFP4-DQ6_K(192K) |
Strata UD-Q4_K_XL(192K) |
Strata IQ3_S(256K) |
暗号 |
| 7,883 |
4,402 / 133 |
3,267 / 82 |
3,626 / 144 |
 |
| 31,955 |
5,476 / 150 |
3,878 / 92 |
4,434 / 172 |
 |
| 65,332 |
5,975 / 138 |
4,229 / 92 |
4,371 / 168 |
 |
| 132,934 |
5,708 / 116 |
4,090 / 92 |
4,291 / 169 |
 |
| 187,865 |
5,490 / 118 |
3,958 / 96 |
(未测此长度) |
 |
- 预填充:Basalt 比 Strata UD-Q4_K_XL 快约 35–41%,比 Strata IQ3_S 快约 21–37%。
- 生成:Basalt 从 150 降到 116 tok/s(长度从 32K 到 133K),Strata 的两组基本是平的。在 133K 处 Basalt 比 Strata IQ3_S 低约 31%。我没有深入查原因。
- 这个测试输出很短,生成速度会受推测解码接受率影响(Basalt 日志里接受率 79–97%)。
5.2 编程任务
| 任务 |
Basalt NVFP4-DQ6_K |
Strata UD-Q4_K_XL(同机) |
Strata IQ3_S(同机) |
| A:缓存加单元测试 |
4/4 通过;输出 20,070–24,704 token,耗时 153.7–191.1 s,约 129–134 tok/s |
4/4 通过;约 2.5 万 token,约 300 s,约 80 tok/s |
通过(1 次);约 2.4 万 token,约 169 s,141 tok/s |
| B:86K 上下文改写 |
11/11;输出 1,197 token,25.6 s;预填充 5,771,生成 112.5 |
11/11;1,040 token,36.9 s;预填充 3,994,生成 71.1 |
11/11;690 token,25.1 s;预填充 4,406,生成 127.7 |
| C:151K 上下文改写 |
11/11;输出 953 token,35.6 s;预填充 5,652,生成 107.4 |
11/11;905 token,49.5 s;预填充 4,072,生成 73.2 |
(未测同长度;223K 时 11/11,70.3 s) |
- 任务 A 四次的单元测试数量是 19/21/20/18(模型每次自己写的数量不同)。
- B 的总耗时 Basalt 和 Strata IQ3_S 几乎一样(25.6 对 25.1 s),因为 Basalt 预填充更快,但这次输出了更多 token、生成更慢。
6. DQ6_K 与 DQ8 的区别(引用 Basalt 文档,我没有测 DQ8)
名字里的 D 指稠密投影层的格式:DQ6_K 是 Q6_K,DQ8 是 Q8_0;专家、PLE 完全相同。
- 大小:DQ8 文件多 0.64 GiB(123.28 对 122.64 GiB)。
- 质量(文档数据):默认配置 KLD 0.06213、top-1 91.59%;换成 Q8_0 稠密层 KLD 降约 0.0059、top-1 提高约 0.55 个百分点。文档称这是默认配置里唯一有可测量代价的舍入。
- 速度(文档数据,双卡 RTX 5090 + 5060 Ti):DQ8 解码慢约 5–9%,预填充慢约 1%。文档另一处写"散文慢约 7%、结构化输出慢约 3%",与表里的结构化数字(约 9%)不一致。
7. 局限
- 只在一台机器上测,每项一次(任务 A 四次),1–5% 的差异在噪声范围内。
- 只测了 192K,没有测 256K;检索最大 188K,没有跑满。
- 编程任务只证明"长上下文里检索加改写能做对",不代表大型代码库里的复杂推理质量。没有测困惑度或其他质量指标。
- 没有测
route-tail-skip、route-prior、relaxed-drafting 这些会改变输出的选项(帖子和文档里提到的提速手段)。
- 与 Strata 的对比不是同窗口严格对照:Strata IQ3_S 是 256K 上下文、DFlash2 草稿器、经 systemd 运行;Strata UD-Q4_K_XL 和 Basalt 是 192K。Basalt 用 MTP 草稿器。Basalt 的"思考预算"还会随输出上限自动缩放(日志里
thinking budget 200 tokens, output cap 400 (answer-room auto)),短输出测试里这可能影响输出长度。
- 页缓存状态不同:Basalt 加载时文件在页缓存里,冷启动时间我没有测。
- 引擎在长输出请求上报的解码速度字段不可靠(见第 4 节),任务 A 的速度我用的是总耗时折算值。
8. 复现
# 取 Basalt 预编译包并校验(digest 以 Release 页面为准)
wget https://github.com/jesdga95/basalt/releases/download/v0.3.3/basalt-v0.3.3-linux-x64.tar.gz
sha256sum basalt-v0.3.3-linux-x64.tar.gz # 11a40d39890531b62516a4f84e4cedb1b7c6cc1113827e50cc10ab0073729a8f
tar xzf basalt-v0.3.3-linux-x64.tar.gz && cd basalt-v0.3.3-linux-x64
python3 -m venv .venv && .venv/bin/pip install -r requirements.txt # 需要 python3-venv
# 需要 R580 以上驱动和 CUDA 13 运行库(cudart、cuBLAS)
export LD_LIBRARY_PATH=/usr/local/cuda-13.5/lib64:$LD_LIBRARY_PATH
# 模型(可续传),下完核对 SHA256
wget -c -O ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt \
https://huggingface.co/jesdga/Qwen3.8-Flash-Next-Basalt/resolve/65de5a9e636e8bbe1200cbcd6eb8aa421e6a66c6/Qwen3.8-FN-NVFP4-DQ6_K.basalt
sha256sum ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt # 177f9b70c63ecd7efd17fc705ad85a8c8253d59e4f04dd10a001b556d15fad33
bin/basalt serve --config basalt_config.json # 配置见第 2 节
请求示例(注意要带 model
curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' \
-d '{"model":"qwen3.8-flash-next-nvfp4-dq6k","messages":[{"role":"user","content":"你好"}],"max_tokens":200}'
读取任意包的构成(不用下载整个文件):用 HTTP Range 取文件开头 64 KiB,按 FileHeader(64 字节:魔数 8、版本 4、段数 4、文件大小 8、保留 40)加每段 128 字节条目(名字 64、偏移 8、大小 8、SHA256 32、保留 16)解析;meta 段是 JSON,tensors 里有每个张量的类型和字节数。
9. 想请教的
- 有人在 16 GB 显卡上对比过 DQ6_K 和
UD-IQ4_XS/UD-IQ3_XXS 的速度吗?我只测了 DQ6_K。
- Basalt 长上下文下生成速度从 150 降到 116 tok/s,Strata 同条件下基本是平的,有人知道原因吗?(我猜与专家缓存命中率和 KV 流式有关,没有验证)
- 引擎在长输出请求上报的
predicted_per_second 不一致,是已知问题吗?