跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文)

RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文)

已定时 已固定 已锁定 已移动 优秀 LLM讨论区
rtx5080qwen本地模型
6 帖子 5 发布者 543 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Holy WenH
    Holy WenH
    Holy Wen
    体面乡绅
    编写于 最后由 编辑
    #1

    RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文)

    先说明:这是我自己一台机器上的实测,每项只跑了一次或少数几次,没有大规模质量评测。对比数据取自我之前在同一台机器上用 Strata 的测试,不是同一时间窗口的严格对照。所有数字请当作量级参考。

    TL;DR

    • 官方 Qwen3.8-FN-NVFP4-DQ6_K.basalt 文件 131.7 GB(122.6 GiB),在 96 GB 内存 + 16 GB 显存的机器上能放进去:启动日志显示常驻 67.8 GiB(显存 13.4 + 内存 54.4),没有专家留在 SSD。
    • 预填充(读提示)5,400–6,000 tok/s;192K 附近的检索测试通过。生成速度随上下文变长从约 150 降到约 116 tok/s。
    • 编程任务 A(写缓存加单元测试)重复 4 次全部通过,实测生成约 130 tok/s。
    • 和我之前用 Strata 跑 UD-Q4_K_XL 相比,预填充快约 35–41%,生成快约 25–60%(长上下文检索里差距较小,编程任务里较大)。和 Strata + IQ3_S 相比,预填充快 21–37%,但长上下文下生成速度更低。
    • 关键是"为什么能放进去":NVFP4 的专家只有 63.3 GiB,而 50.7 GiB 的 PLE 表放在 SSD 上读取,不占内存预算。下面有每个包的精确算法和数字。

    1. 硬件与软件

    项目 内容
    GPU NVIDIA GeForce RTX 5080 16 GB(sm_120),PCIe 5.0 ×16,功率限制 300 W(默认 360 W)
    CPU Intel Core Ultra 7 265K(20 线程,无 AVX-512,Basalt 启动时有警告,专家内核走 AVX2)
    内存 2×48 GB DDR5-6400,可用 93.7 GiB
    存储 NVMe SSD(内核日志显示 Lexar NM990 1TB)
    系统 Debian 13(命令行模式),内核 7.2.12(backports),Secure Boot 关闭
    驱动 NVIDIA 620.70.06(开源内核模块);系统里只装了 CUDA 13.5 运行库(cudart、cuBLAS),没有装完整 Toolkit
    引擎 Basalt v0.3.3 预编译包 basalt-v0.3.3-linux-x64.tar.gz(63.8 MB,SHA256 11a40d39…729a8f,与 Release 页面的 digest 一致)
    模型 jesdga/Qwen3.8-Flash-Next-Basalt 仓库(revision 65de5a9e)的 Qwen3.8-FN-NVFP4-DQ6_K.basalt,131,681,979,197 字节,SHA256 177f9b70…15fad33(与 Hugging Face 记录一致)

    2. 配置

    basalt_config.json(没有开任何会改变输出的选项):

    {
      "version": 2,
      "models": [
        { "alias": "qwen3.8-flash-next-nvfp4-dq6k",
          "model": "../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt",
          "gpu": "0", "kv": "int8", "max-context": 196608 }
      ],
      "engine": { "resident-experts": true },
      "server": { "host": "127.0.0.1", "port": 8080 }
    }
    

    启动:bin/basalt serve --config basalt_config.json(只设了 LD_LIBRARY_PATH 指向 CUDA 运行库;没有提升 ulimit -l)。

    引擎默认选的:spec=8(MTP 投机解码)、prefill auto、视觉关闭(images=off)、弹性 KV(kv 0.7/3.0 GiB cuda0 elastic)。没有使用 relaxed-drafting、route-prior、route-tail-skip。

    3. 内存:为什么 132 GB 的包能在 96 GB 内存上跑

    .basalt 文件开头有 64 KiB 的头(魔数 BASALTMF,每段一个 128 字节条目,含偏移和大小)。我用 HTTP Range 只读了头和 meta 段(JSON,含每个张量的类型和字节数),没有下载整个文件,就算出了每个包的构成。

    NVFP4-DQ6_K 的构成(GiB):

    部分 大小 说明
    专家(NVFP4) 63.28 NVIDIA 的 NVFP4 专家码原样搬运
    稠密权重(gguf 段去掉 PLE + dense 段) 6.36 Q6_K 等
    hc、MTP 草稿器 1.43
    必须常驻合计 71.08 放内存 + 显存
    PLE 表 per_layer_token_embd.weight 50.66 Q8_0,形状 [160, 320001536],54,400,261,120 字节,放在 SSD 上读取
    视觉投影 0.85 本测试视觉关闭

    所有 Qwen3.8-Flash-Next 包的对照(GiB,同样的算法,为我自己的计算😞

    包 文件 PLE 类型 PLE 专家 常驻(去掉 PLE)
    UD-IQ1_S 65.57 IQ4_NL 26.82 31.10 37.85
    UD-IQ1_M 67.09 IQ4_NL 26.82 32.42 39.37
    UD-IQ2_XS 74.37 IQ4_NL 26.82 39.38 46.66
    UD-IQ3_XXS 81.59 IQ4_NL 26.82 46.84 53.87
    UD-IQ4_XS 90.94 IQ4_NL 26.82 56.24 63.22
    UD-Q4_K_XL 107.39 IQ4_NL 26.82 71.73 79.67
    NVFP4-DQ6_K 122.64 Q8_0 50.66 63.28 71.08
    NVFP4-DQ8 123.28 Q8_0 50.66 63.28 71.72
    UD-Q5_K_XL 151.12 Q8_0 50.66 91.61 99.56
    UD-Q6_K_XL 161.25 Q8_0 50.66 101.75 109.69
    Q8_0 179.00 Q8_0 50.66 119.53 127.44

    交叉验证:用同样口径算 UD-Q4_K_XL 的专家是 71.73 GiB,和我之前用 Strata 跑它时日志里的 loaded 71.73 GiB 完全一致。

    实测占用(Basalt 启动日志与系统快照):

    项目 数值
    加载 loaded 67.8GiB 16.4s cuda0=13.4GiB ram=54.4GiB(文件当时在页缓存里,刚做完 SHA256 校验,所以 16.4 秒不代表冷启动)
    日志警告 没有 experts on SSD 警告
    系统内存 已用约 72.6–73.3 GB,可用约 22.6–23.3 GB(测试全程基本不变)
    显存 15.2–15.3 GiB / 16 GiB
    引擎进程磁盘读 一次 8K 提示 714 MiB,一次 65K 提示 379 MiB(数百 MiB 量级,与 PLE 在 SSD 上读取相符,我没有进一步拆分;系统页缓存约 23 GB)
    峰值功耗 约 303 W(限制 300 W,每秒采样有轻微过冲)

    4. 测试方法

    • 检索:在约 8K / 32K / 64K / 128K / 188K token 的填充文本正中间埋一个暗号,问模型暗号是什么,temperature=0,每档一次。输出只有一个暗号,所以"生成速度"偏高,不代表长文生成。
    • 编程任务 A:几乎没有上下文,让模型写带单元测试的 TTL/LRU 缓存(类、淘汰规则、可注入计时器),用 unittest 运行模型写的文件;max_tokens=30000(太小会把输出截断,我第一次就是这样失败的)。
    • 编程任务 B / C:把真实 Python 标准库源码拼成约 86K / 约 151K token 的堆,正中间埋一个"定价模块"(阶梯折扣门槛 37 和 120、各地区税率、最低收费 5.00),让模型重写等价函数,用 11 个用例(含边界)与原模块比对。
    • 速度字段取自响应的 timings。注意:Basalt 在长输出请求上,引擎报的 predicted_per_second 有时不可信:任务 A 四次里有两次报了 181.7 和 185.1 tok/s,而按"输出 token ÷ 总耗时"算只有 133.6 和 129.3 tok/s;其中第一次的"解码耗时"字段只有 11.3 秒,却对应 24,560 个输出 token,不可能。所以任务 A 的生成速度我一律用"输出 token ÷ 总耗时"。
    • 请求必须带 model 字段(Basalt 有多模型路由,不带会返回 404 model is required)。

    5. 结果

    5.1 长上下文检索(提示处理 tok/s / 生成 tok/s)

    输入 token Basalt NVFP4-DQ6_K(192K) Strata UD-Q4_K_XL(192K) Strata IQ3_S(256K) 暗号
    7,883 4,402 / 133 3,267 / 82 3,626 / 144 ✅
    31,955 5,476 / 150 3,878 / 92 4,434 / 172 ✅
    65,332 5,975 / 138 4,229 / 92 4,371 / 168 ✅
    132,934 5,708 / 116 4,090 / 92 4,291 / 169 ✅
    187,865 5,490 / 118 3,958 / 96 (未测此长度) ✅
    • 预填充:Basalt 比 Strata UD-Q4_K_XL 快约 35–41%,比 Strata IQ3_S 快约 21–37%。
    • 生成:Basalt 从 150 降到 116 tok/s(长度从 32K 到 133K),Strata 的两组基本是平的。在 133K 处 Basalt 比 Strata IQ3_S 低约 31%。我没有深入查原因。
    • 这个测试输出很短,生成速度会受推测解码接受率影响(Basalt 日志里接受率 79–97%)。

    5.2 编程任务

    任务 Basalt NVFP4-DQ6_K Strata UD-Q4_K_XL(同机) Strata IQ3_S(同机)
    A:缓存加单元测试 4/4 通过;输出 20,070–24,704 token,耗时 153.7–191.1 s,约 129–134 tok/s 4/4 通过;约 2.5 万 token,约 300 s,约 80 tok/s 通过(1 次);约 2.4 万 token,约 169 s,141 tok/s
    B:86K 上下文改写 11/11;输出 1,197 token,25.6 s;预填充 5,771,生成 112.5 11/11;1,040 token,36.9 s;预填充 3,994,生成 71.1 11/11;690 token,25.1 s;预填充 4,406,生成 127.7
    C:151K 上下文改写 11/11;输出 953 token,35.6 s;预填充 5,652,生成 107.4 11/11;905 token,49.5 s;预填充 4,072,生成 73.2 (未测同长度;223K 时 11/11,70.3 s)
    • 任务 A 四次的单元测试数量是 19/21/20/18(模型每次自己写的数量不同)。
    • B 的总耗时 Basalt 和 Strata IQ3_S 几乎一样(25.6 对 25.1 s),因为 Basalt 预填充更快,但这次输出了更多 token、生成更慢。

    6. DQ6_K 与 DQ8 的区别(引用 Basalt 文档,我没有测 DQ8)

    名字里的 D 指稠密投影层的格式:DQ6_K 是 Q6_K,DQ8 是 Q8_0;专家、PLE 完全相同。

    • 大小:DQ8 文件多 0.64 GiB(123.28 对 122.64 GiB)。
    • 质量(文档数据):默认配置 KLD 0.06213、top-1 91.59%;换成 Q8_0 稠密层 KLD 降约 0.0059、top-1 提高约 0.55 个百分点。文档称这是默认配置里唯一有可测量代价的舍入。
    • 速度(文档数据,双卡 RTX 5090 + 5060 Ti):DQ8 解码慢约 5–9%,预填充慢约 1%。文档另一处写"散文慢约 7%、结构化输出慢约 3%",与表里的结构化数字(约 9%)不一致。

    7. 局限

    • 只在一台机器上测,每项一次(任务 A 四次),1–5% 的差异在噪声范围内。
    • 只测了 192K,没有测 256K;检索最大 188K,没有跑满。
    • 编程任务只证明"长上下文里检索加改写能做对",不代表大型代码库里的复杂推理质量。没有测困惑度或其他质量指标。
    • 没有测 route-tail-skip、route-prior、relaxed-drafting 这些会改变输出的选项(帖子和文档里提到的提速手段)。
    • 与 Strata 的对比不是同窗口严格对照:Strata IQ3_S 是 256K 上下文、DFlash2 草稿器、经 systemd 运行;Strata UD-Q4_K_XL 和 Basalt 是 192K。Basalt 用 MTP 草稿器。Basalt 的"思考预算"还会随输出上限自动缩放(日志里 thinking budget 200 tokens, output cap 400 (answer-room auto)),短输出测试里这可能影响输出长度。
    • 页缓存状态不同:Basalt 加载时文件在页缓存里,冷启动时间我没有测。
    • 引擎在长输出请求上报的解码速度字段不可靠(见第 4 节),任务 A 的速度我用的是总耗时折算值。

    8. 复现

    # 取 Basalt 预编译包并校验(digest 以 Release 页面为准)
    wget https://github.com/jesdga95/basalt/releases/download/v0.3.3/basalt-v0.3.3-linux-x64.tar.gz
    sha256sum basalt-v0.3.3-linux-x64.tar.gz     # 11a40d39890531b62516a4f84e4cedb1b7c6cc1113827e50cc10ab0073729a8f
    tar xzf basalt-v0.3.3-linux-x64.tar.gz && cd basalt-v0.3.3-linux-x64
    python3 -m venv .venv && .venv/bin/pip install -r requirements.txt     # 需要 python3-venv
    
    # 需要 R580 以上驱动和 CUDA 13 运行库(cudart、cuBLAS)
    export LD_LIBRARY_PATH=/usr/local/cuda-13.5/lib64:$LD_LIBRARY_PATH
    
    # 模型(可续传),下完核对 SHA256
    wget -c -O ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt \
      https://huggingface.co/jesdga/Qwen3.8-Flash-Next-Basalt/resolve/65de5a9e636e8bbe1200cbcd6eb8aa421e6a66c6/Qwen3.8-FN-NVFP4-DQ6_K.basalt
    sha256sum ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt   # 177f9b70c63ecd7efd17fc705ad85a8c8253d59e4f04dd10a001b556d15fad33
    
    bin/basalt serve --config basalt_config.json        # 配置见第 2 节
    

    请求示例(注意要带 model😞

    curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' \
      -d '{"model":"qwen3.8-flash-next-nvfp4-dq6k","messages":[{"role":"user","content":"你好"}],"max_tokens":200}'
    

    读取任意包的构成(不用下载整个文件):用 HTTP Range 取文件开头 64 KiB,按 FileHeader(64 字节:魔数 8、版本 4、段数 4、文件大小 8、保留 40)加每段 128 字节条目(名字 64、偏移 8、大小 8、SHA256 32、保留 16)解析;meta 段是 JSON,tensors 里有每个张量的类型和字节数。

    9. 想请教的

    1. 有人在 16 GB 显卡上对比过 DQ6_K 和 UD-IQ4_XS/UD-IQ3_XXS 的速度吗?我只测了 DQ6_K。
    2. Basalt 长上下文下生成速度从 150 降到 116 tok/s,Strata 同条件下基本是平的,有人知道原因吗?(我猜与专家缓存命中率和 KV 流式有关,没有验证)
    3. 引擎在长输出请求上报的 predicted_per_second 不一致,是已知问题吗?
    YDMY 1 条回复 最后回复
    3
    • XiaoteX
      XiaoteX
      Xiaote
      易有太极
      编写于 最后由 编辑
      #2

      ✅ 版主审定:本帖设为优秀,作者 +3 积分奖励,继续加油!

      奖励凭证:优秀 +3 分 · 编号 e3036-1170-1

      老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

      1 条回复 最后回复
      0
      • Holy WenH
        Holy WenH
        Holy Wen
        体面乡绅
        编写于 最后由 Holy Wen 编辑
        #3

        5.3 补测:route-prior 与 route-tail-skip(会改变输出的选项)

        参考帖子(Basalt 0.3.2、RTX 5060 Ti)里提速最多的就是这两个选项。Basalt 文档把它们归为"有损":route-prior LAMBDA 给显存里已有专家的路由 logit 加 LAMBDA(偏向已缓存专家),route-tail-skip R 在显存里没有的专家排名不高于 R 时直接跳过。每次只改 engine 里的这几项,其余同第 2 节,每个变体重启一次引擎,并确认参数确实出现在引擎进程命令行里(启动日志同时有 lossy flags enabled 警告)。基线是前一天同配置的结果,不是同一次开机测的。

        "engine": { "resident-experts": true, "route-prior": 1.5, "route-tail-skip": 7 }
        

        编程任务 A(输出约 2 万多 token,速度用"输出 token ÷ 总耗时",每个变体 4 次):

        变体 通过 生成速度 tok/s 相对基线
        基线 4/4 129–134 –
        route-tail-skip 7 3/4(1 次 2 个测试失败) 161–173 +28%
        route-prior 1.5 4/4 256–273 +100%
        两个都开 4/4 244–270 +96%

        长上下文检索(提示处理 / 生成 tok/s,暗号全部找回):

        输入 基线 tail-skip 7 prior 1.5 两个都开
        8K 4401 / 132 4476 / 179 4472 / 277 4463 / 276
        32K 5476 / 149 5555 / 182 5534 / 273 5538 / 285
        65K 5974 / 137 5972 / 184 5977 / 264 5967 / 288
        133K 5708 / 115 5726 / 165 5712 / 239 5703 / 240
        188K 5489 / 118 5499 / 148 5491 / 225 5485 / 236

        编程任务 B / C(生成 tok/s,全部 11/11 通过):基线 112 / 107;tail-skip 136 / 138;prior 254 / 234;两个都开 262 / 245。

        专家缓存命中率(服务端日志里各请求 hit= 的中位数):基线 64%,tail-skip 72%,prior 97%,两个都开 97%。内存/显存占用与基线一致(约 73 GB / 15.2 GiB)。

        要点:

        • route-prior 1.5 是主要增益,生成速度约翻倍,预填充不变。route-tail-skip 7 单开约 +28%,和 prior 一起开时没有额外收益。这与帖子的趋势一致(帖子里 23 → 27.5 → 55 tok/s)。
        • 命中率从 64% 升到 97%,很可能是提速的原因;同时它也解释了 5.1 里基线"长上下文下生成变慢"(命中率随上下文下降)被抹平了大半。这是相关性,我没有单独验证。
        • 质量代价我没有测出明确结论。我只有任务 A 的通过次数(prior 4/4、两个都开 4/4、tail-skip 3/4),样本太小,不能说明差异;tail-skip 那次失败是模型写的测试有问题还是缓存实现有问题,我没有逐个检查。没有跑困惑度/KLD。帖子作者说 route-prior 取 1.5 是安全点、取 16 会严重退化,文档也提供了质量门,这里均未复现。
        • 这两个选项会改变输出(同一提示的答案可能不同),不适合需要可复现结果的场合。
        1 条回复 最后回复
        1
        • ,kos orK kos or 引用了 此主题
        • kos orK
          kos orK
          kos or
          至尊皇帝
          编写于 最后由 kos or 编辑
          #4

          感謝分享 ! 讚一個

          RTX 50系的溢價 除了ComfyUI之外, 就是NVFP4了

          1 条回复 最后回复
          0
          • freeman gemmyF
            freeman gemmyF
            freeman gemmy
            编写于 最后由 编辑
            #5

            感觉basalt的专用格式可能有点问题,我测了nvfp4 和iq4s的长编程任务,basalt上都会错,而且nvfp4固定位置错,就换回strata了,不过basalt 确实快,5070TI 16g速度prefill4800,decode7-80,内存机制不够starta稳。

            1 条回复 最后回复
            0
            • Holy WenH Holy Wen

              RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文)

              先说明:这是我自己一台机器上的实测,每项只跑了一次或少数几次,没有大规模质量评测。对比数据取自我之前在同一台机器上用 Strata 的测试,不是同一时间窗口的严格对照。所有数字请当作量级参考。

              TL;DR

              • 官方 Qwen3.8-FN-NVFP4-DQ6_K.basalt 文件 131.7 GB(122.6 GiB),在 96 GB 内存 + 16 GB 显存的机器上能放进去:启动日志显示常驻 67.8 GiB(显存 13.4 + 内存 54.4),没有专家留在 SSD。
              • 预填充(读提示)5,400–6,000 tok/s;192K 附近的检索测试通过。生成速度随上下文变长从约 150 降到约 116 tok/s。
              • 编程任务 A(写缓存加单元测试)重复 4 次全部通过,实测生成约 130 tok/s。
              • 和我之前用 Strata 跑 UD-Q4_K_XL 相比,预填充快约 35–41%,生成快约 25–60%(长上下文检索里差距较小,编程任务里较大)。和 Strata + IQ3_S 相比,预填充快 21–37%,但长上下文下生成速度更低。
              • 关键是"为什么能放进去":NVFP4 的专家只有 63.3 GiB,而 50.7 GiB 的 PLE 表放在 SSD 上读取,不占内存预算。下面有每个包的精确算法和数字。

              1. 硬件与软件

              项目 内容
              GPU NVIDIA GeForce RTX 5080 16 GB(sm_120),PCIe 5.0 ×16,功率限制 300 W(默认 360 W)
              CPU Intel Core Ultra 7 265K(20 线程,无 AVX-512,Basalt 启动时有警告,专家内核走 AVX2)
              内存 2×48 GB DDR5-6400,可用 93.7 GiB
              存储 NVMe SSD(内核日志显示 Lexar NM990 1TB)
              系统 Debian 13(命令行模式),内核 7.2.12(backports),Secure Boot 关闭
              驱动 NVIDIA 620.70.06(开源内核模块);系统里只装了 CUDA 13.5 运行库(cudart、cuBLAS),没有装完整 Toolkit
              引擎 Basalt v0.3.3 预编译包 basalt-v0.3.3-linux-x64.tar.gz(63.8 MB,SHA256 11a40d39…729a8f,与 Release 页面的 digest 一致)
              模型 jesdga/Qwen3.8-Flash-Next-Basalt 仓库(revision 65de5a9e)的 Qwen3.8-FN-NVFP4-DQ6_K.basalt,131,681,979,197 字节,SHA256 177f9b70…15fad33(与 Hugging Face 记录一致)

              2. 配置

              basalt_config.json(没有开任何会改变输出的选项):

              {
                "version": 2,
                "models": [
                  { "alias": "qwen3.8-flash-next-nvfp4-dq6k",
                    "model": "../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt",
                    "gpu": "0", "kv": "int8", "max-context": 196608 }
                ],
                "engine": { "resident-experts": true },
                "server": { "host": "127.0.0.1", "port": 8080 }
              }
              

              启动:bin/basalt serve --config basalt_config.json(只设了 LD_LIBRARY_PATH 指向 CUDA 运行库;没有提升 ulimit -l)。

              引擎默认选的:spec=8(MTP 投机解码)、prefill auto、视觉关闭(images=off)、弹性 KV(kv 0.7/3.0 GiB cuda0 elastic)。没有使用 relaxed-drafting、route-prior、route-tail-skip。

              3. 内存:为什么 132 GB 的包能在 96 GB 内存上跑

              .basalt 文件开头有 64 KiB 的头(魔数 BASALTMF,每段一个 128 字节条目,含偏移和大小)。我用 HTTP Range 只读了头和 meta 段(JSON,含每个张量的类型和字节数),没有下载整个文件,就算出了每个包的构成。

              NVFP4-DQ6_K 的构成(GiB):

              部分 大小 说明
              专家(NVFP4) 63.28 NVIDIA 的 NVFP4 专家码原样搬运
              稠密权重(gguf 段去掉 PLE + dense 段) 6.36 Q6_K 等
              hc、MTP 草稿器 1.43
              必须常驻合计 71.08 放内存 + 显存
              PLE 表 per_layer_token_embd.weight 50.66 Q8_0,形状 [160, 320001536],54,400,261,120 字节,放在 SSD 上读取
              视觉投影 0.85 本测试视觉关闭

              所有 Qwen3.8-Flash-Next 包的对照(GiB,同样的算法,为我自己的计算😞

              包 文件 PLE 类型 PLE 专家 常驻(去掉 PLE)
              UD-IQ1_S 65.57 IQ4_NL 26.82 31.10 37.85
              UD-IQ1_M 67.09 IQ4_NL 26.82 32.42 39.37
              UD-IQ2_XS 74.37 IQ4_NL 26.82 39.38 46.66
              UD-IQ3_XXS 81.59 IQ4_NL 26.82 46.84 53.87
              UD-IQ4_XS 90.94 IQ4_NL 26.82 56.24 63.22
              UD-Q4_K_XL 107.39 IQ4_NL 26.82 71.73 79.67
              NVFP4-DQ6_K 122.64 Q8_0 50.66 63.28 71.08
              NVFP4-DQ8 123.28 Q8_0 50.66 63.28 71.72
              UD-Q5_K_XL 151.12 Q8_0 50.66 91.61 99.56
              UD-Q6_K_XL 161.25 Q8_0 50.66 101.75 109.69
              Q8_0 179.00 Q8_0 50.66 119.53 127.44

              交叉验证:用同样口径算 UD-Q4_K_XL 的专家是 71.73 GiB,和我之前用 Strata 跑它时日志里的 loaded 71.73 GiB 完全一致。

              实测占用(Basalt 启动日志与系统快照):

              项目 数值
              加载 loaded 67.8GiB 16.4s cuda0=13.4GiB ram=54.4GiB(文件当时在页缓存里,刚做完 SHA256 校验,所以 16.4 秒不代表冷启动)
              日志警告 没有 experts on SSD 警告
              系统内存 已用约 72.6–73.3 GB,可用约 22.6–23.3 GB(测试全程基本不变)
              显存 15.2–15.3 GiB / 16 GiB
              引擎进程磁盘读 一次 8K 提示 714 MiB,一次 65K 提示 379 MiB(数百 MiB 量级,与 PLE 在 SSD 上读取相符,我没有进一步拆分;系统页缓存约 23 GB)
              峰值功耗 约 303 W(限制 300 W,每秒采样有轻微过冲)

              4. 测试方法

              • 检索:在约 8K / 32K / 64K / 128K / 188K token 的填充文本正中间埋一个暗号,问模型暗号是什么,temperature=0,每档一次。输出只有一个暗号,所以"生成速度"偏高,不代表长文生成。
              • 编程任务 A:几乎没有上下文,让模型写带单元测试的 TTL/LRU 缓存(类、淘汰规则、可注入计时器),用 unittest 运行模型写的文件;max_tokens=30000(太小会把输出截断,我第一次就是这样失败的)。
              • 编程任务 B / C:把真实 Python 标准库源码拼成约 86K / 约 151K token 的堆,正中间埋一个"定价模块"(阶梯折扣门槛 37 和 120、各地区税率、最低收费 5.00),让模型重写等价函数,用 11 个用例(含边界)与原模块比对。
              • 速度字段取自响应的 timings。注意:Basalt 在长输出请求上,引擎报的 predicted_per_second 有时不可信:任务 A 四次里有两次报了 181.7 和 185.1 tok/s,而按"输出 token ÷ 总耗时"算只有 133.6 和 129.3 tok/s;其中第一次的"解码耗时"字段只有 11.3 秒,却对应 24,560 个输出 token,不可能。所以任务 A 的生成速度我一律用"输出 token ÷ 总耗时"。
              • 请求必须带 model 字段(Basalt 有多模型路由,不带会返回 404 model is required)。

              5. 结果

              5.1 长上下文检索(提示处理 tok/s / 生成 tok/s)

              输入 token Basalt NVFP4-DQ6_K(192K) Strata UD-Q4_K_XL(192K) Strata IQ3_S(256K) 暗号
              7,883 4,402 / 133 3,267 / 82 3,626 / 144 ✅
              31,955 5,476 / 150 3,878 / 92 4,434 / 172 ✅
              65,332 5,975 / 138 4,229 / 92 4,371 / 168 ✅
              132,934 5,708 / 116 4,090 / 92 4,291 / 169 ✅
              187,865 5,490 / 118 3,958 / 96 (未测此长度) ✅
              • 预填充:Basalt 比 Strata UD-Q4_K_XL 快约 35–41%,比 Strata IQ3_S 快约 21–37%。
              • 生成:Basalt 从 150 降到 116 tok/s(长度从 32K 到 133K),Strata 的两组基本是平的。在 133K 处 Basalt 比 Strata IQ3_S 低约 31%。我没有深入查原因。
              • 这个测试输出很短,生成速度会受推测解码接受率影响(Basalt 日志里接受率 79–97%)。

              5.2 编程任务

              任务 Basalt NVFP4-DQ6_K Strata UD-Q4_K_XL(同机) Strata IQ3_S(同机)
              A:缓存加单元测试 4/4 通过;输出 20,070–24,704 token,耗时 153.7–191.1 s,约 129–134 tok/s 4/4 通过;约 2.5 万 token,约 300 s,约 80 tok/s 通过(1 次);约 2.4 万 token,约 169 s,141 tok/s
              B:86K 上下文改写 11/11;输出 1,197 token,25.6 s;预填充 5,771,生成 112.5 11/11;1,040 token,36.9 s;预填充 3,994,生成 71.1 11/11;690 token,25.1 s;预填充 4,406,生成 127.7
              C:151K 上下文改写 11/11;输出 953 token,35.6 s;预填充 5,652,生成 107.4 11/11;905 token,49.5 s;预填充 4,072,生成 73.2 (未测同长度;223K 时 11/11,70.3 s)
              • 任务 A 四次的单元测试数量是 19/21/20/18(模型每次自己写的数量不同)。
              • B 的总耗时 Basalt 和 Strata IQ3_S 几乎一样(25.6 对 25.1 s),因为 Basalt 预填充更快,但这次输出了更多 token、生成更慢。

              6. DQ6_K 与 DQ8 的区别(引用 Basalt 文档,我没有测 DQ8)

              名字里的 D 指稠密投影层的格式:DQ6_K 是 Q6_K,DQ8 是 Q8_0;专家、PLE 完全相同。

              • 大小:DQ8 文件多 0.64 GiB(123.28 对 122.64 GiB)。
              • 质量(文档数据):默认配置 KLD 0.06213、top-1 91.59%;换成 Q8_0 稠密层 KLD 降约 0.0059、top-1 提高约 0.55 个百分点。文档称这是默认配置里唯一有可测量代价的舍入。
              • 速度(文档数据,双卡 RTX 5090 + 5060 Ti):DQ8 解码慢约 5–9%,预填充慢约 1%。文档另一处写"散文慢约 7%、结构化输出慢约 3%",与表里的结构化数字(约 9%)不一致。

              7. 局限

              • 只在一台机器上测,每项一次(任务 A 四次),1–5% 的差异在噪声范围内。
              • 只测了 192K,没有测 256K;检索最大 188K,没有跑满。
              • 编程任务只证明"长上下文里检索加改写能做对",不代表大型代码库里的复杂推理质量。没有测困惑度或其他质量指标。
              • 没有测 route-tail-skip、route-prior、relaxed-drafting 这些会改变输出的选项(帖子和文档里提到的提速手段)。
              • 与 Strata 的对比不是同窗口严格对照:Strata IQ3_S 是 256K 上下文、DFlash2 草稿器、经 systemd 运行;Strata UD-Q4_K_XL 和 Basalt 是 192K。Basalt 用 MTP 草稿器。Basalt 的"思考预算"还会随输出上限自动缩放(日志里 thinking budget 200 tokens, output cap 400 (answer-room auto)),短输出测试里这可能影响输出长度。
              • 页缓存状态不同:Basalt 加载时文件在页缓存里,冷启动时间我没有测。
              • 引擎在长输出请求上报的解码速度字段不可靠(见第 4 节),任务 A 的速度我用的是总耗时折算值。

              8. 复现

              # 取 Basalt 预编译包并校验(digest 以 Release 页面为准)
              wget https://github.com/jesdga95/basalt/releases/download/v0.3.3/basalt-v0.3.3-linux-x64.tar.gz
              sha256sum basalt-v0.3.3-linux-x64.tar.gz     # 11a40d39890531b62516a4f84e4cedb1b7c6cc1113827e50cc10ab0073729a8f
              tar xzf basalt-v0.3.3-linux-x64.tar.gz && cd basalt-v0.3.3-linux-x64
              python3 -m venv .venv && .venv/bin/pip install -r requirements.txt     # 需要 python3-venv
              
              # 需要 R580 以上驱动和 CUDA 13 运行库(cudart、cuBLAS)
              export LD_LIBRARY_PATH=/usr/local/cuda-13.5/lib64:$LD_LIBRARY_PATH
              
              # 模型(可续传),下完核对 SHA256
              wget -c -O ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt \
                https://huggingface.co/jesdga/Qwen3.8-Flash-Next-Basalt/resolve/65de5a9e636e8bbe1200cbcd6eb8aa421e6a66c6/Qwen3.8-FN-NVFP4-DQ6_K.basalt
              sha256sum ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt   # 177f9b70c63ecd7efd17fc705ad85a8c8253d59e4f04dd10a001b556d15fad33
              
              bin/basalt serve --config basalt_config.json        # 配置见第 2 节
              

              请求示例(注意要带 model😞

              curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' \
                -d '{"model":"qwen3.8-flash-next-nvfp4-dq6k","messages":[{"role":"user","content":"你好"}],"max_tokens":200}'
              

              读取任意包的构成(不用下载整个文件):用 HTTP Range 取文件开头 64 KiB,按 FileHeader(64 字节:魔数 8、版本 4、段数 4、文件大小 8、保留 40)加每段 128 字节条目(名字 64、偏移 8、大小 8、SHA256 32、保留 16)解析;meta 段是 JSON,tensors 里有每个张量的类型和字节数。

              9. 想请教的

              1. 有人在 16 GB 显卡上对比过 DQ6_K 和 UD-IQ4_XS/UD-IQ3_XXS 的速度吗?我只测了 DQ6_K。
              2. Basalt 长上下文下生成速度从 150 降到 116 tok/s,Strata 同条件下基本是平的,有人知道原因吗?(我猜与专家缓存命中率和 KV 流式有关,没有验证)
              3. 引擎在长输出请求上报的 predicted_per_second 不一致,是已知问题吗?
              YDMY
              YDMY
              YDM
              硕果累累 贵族大夫
              编写于 最后由 编辑
              #6

              @Holy-Wen

              "route-tail-skip" 要看程式碼有沒有寫反,你可以試試,速度快(會變笨)
              "conversation-cache-slots": 也會影響速度!!

              這兩個參數,我覺得調優後,比較明顯的差別,但有依照我的電腦硬體重新編譯過,所以要試試!!

              1 条回复 最后回复
              0

              你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

              厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

              有了你的建议,这篇帖子会更精彩哦 💗

              注册 登录
              回复
              • 在新帖中回复
              登录后回复
              • 从旧到新
              • 从新到旧
              • 最多赞同


              • 登录

              • 登录或注册以进行搜索。
              • 第一个帖子
                最后一个帖子
              0
              • 版块
              • 最新
              • 标签
              • 热门
              • 用户
              • 群组