跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
Holy WenH

Holy Wen

@Holy Wen
体面乡绅
取消关注 关注
关于
帖子
8
主题
3
分享
0
群组
1
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • [H3剑心比赛] RTX Pro 6000 96G 单卡 · 一条片子 5 分半|MiniMax H3 3D / 2D
    Holy WenH Holy Wen
    AI音视频画图 rtxpro6000 minimax 视频生成

    楼主的方法我在 RTX 5080 16 GB 上复刻了一遍,来汇报一下情况。结论:照着做能跑通,一条 12 秒大约 8 分钟,比 Pro 6000 慢 1.4–1.5 倍。

    成片(我这边的复刻,不是正式参赛那版):

    • 3D:https://youtu.be/wRoxYU6O34Q
    • 2D:https://youtu.be/CsyesCULSII

    时间

    Pro 6000 96G(楼主) 5080 16G(我)
    3D 端到端 327 s 497 s(8:17)
    2D 端到端 342 s 472 s(7:52)
    低段 8 步 57 s / 60 s 78 s / 71 s
    高段 6 步(1376×768) 230 s / 248 s(38–41 s/步) 346 s / 333 s(约 56–58 s/步)

    计时是 ComfyUI 日志的 Prompt executed in。我是 1344×768(比赛规格),楼主是 1376×768,像素略少一点,所以高段步时的差距比看起来还小一点。

    没想到的是:16 GB 显存、模型要从内存里流式换入换出,只慢了 1.4–1.5 倍。我之前用同一张卡、官方默认注意力、20 步全分辨率,一条要 45 分钟(约 130 s/步),这次直接降到 8 分钟。我没有拆开做单项对比,只能推测大头来自 INT8 注意力(comfy kitchen attention)和两段式,不能说各占多少。

    我做了哪些改动

    照搬的部分:两段式 SelfLift(8 步低分辨率 + 6 步全分辨率,euler,14 步 simple 调度)、SigmaShift 12/3、FFN 分块 chunks=2、comfy kitchen attention、潜变量上采器、LoRA 栈(Fight Flow 0.9 / Combat V2 0.9 / Motion Repair 0.7)、楼主的重写提示词。

    适配 16 GB 或者没拿到的地方:

    1. 底模换成裁剪版:Singularity v1.3 int8 的裁剪版(21 GB),不是 34 GB 的完整版。HF:WarmBloodAban/Minimax-h3_Singularity。
    2. 文本编码器用 NVFP4(14.6 GB,官方 Comfy-Org 的),没用 int8 的 24 GB。5080 原生支持 FP4,省内存。
    3. 高分辨率段的 LoRA 用 r144,不是工作流里的 r512。我在 HF 上没找到 r512 的公开下载,只找到同系列的 rh-minimax-h3-fl2va-bf16-turbo-multistep-fro099-r144-pruned(RunningHubAI)。所以我这边的画面和楼主的不完全可比。
    4. 没有背景图,参考图没去背景。本能寺只靠提示词文字,没用 RMBG。
    5. 条件节点:直接用了 T8 的 MiniMaxH3AudioConditioningT8,参数照楼主的工作流。
    6. 分辨率写死 1344×768,低段自动变成 384×672。
    7. 提示词:风格句按 3D / 2D 各换了一句,最前面加了一行图片对应说明(标明哪些是 2D 立绘、哪些是 3D 手办)。
    8. KJ 预览节点没装,SOL 注意力(楼主工作流里本来是绕过的)也没启用。

    顺带发现的一件事

    楼主帖子里写的是"8-step turbo 蒸馏模型",我读 JSON 才发现:低段和高段用的不是同一套 LoRA。

    • 低段:lightx2v 的 ref2v_turbo_8step_v1.1 → Fight Flow → Combat V2 → Motion Repair 0.7。
    • 高段(model_hires):fl2va_bf16_turbo_multistep_fro099_r512_pruned → Motion Repair 0.3,没有 Fight Flow 和 Combat。

    这个结构不看 JSON 很难发现,照着帖子文字复刻容易把整套 LoRA 都加到两段里。

    另外,Combat V2 和 Motion Repair V2 我在 HF 的 JOKER141 下找到了:MiniMax-H3-Combat-Base-V2、MiniMax-H3-General-Motion-Continuity-Repair;Fight Flow V1 在 JOKER141/H3-Fight-Flow-Fight-Interaction-LoRA。其他想复刻的人可以直接下。

    效果和没验证的

    • 四个分镜、燃烧的本能寺、结尾剑心单膝跪地和志志雄远处站立,两版都出现了。
    • 我只看了关键帧,没逐帧看,也没仔细听音频。只试了一个种子(2026111402),样本很小。
    • 我之前单独试过 8 步 LoRA(单段、不带这些战斗 LoRA)在中段碰撞有明显拖影;这套组合里关键帧上没看到,但拖影要看动态才能确认。
    • 成片是模型输出的 294 帧里取前 288 帧(12.000 s),没有剪接。

    想请教楼主

    1. 高段的 r512 版本能不能给个下载地址?想看看换了以后画面有没有变化。
    2. 低段 8 步 + 高段 6 步的分界(transition_step=8)是试出来的吗?有没有试过 6+8 之类的别的分法?

    另外这个方法在 16 GB 卡上能跑,对想用 5080 / 5070 Ti 这类卡参赛的人应该有参考价值。


  • 参与者奖励20分,冠军60额外分,亚军30分,季军15分!AMD,Nvidia,Intel,Apple用户同提示词,同规格要求生成竞赛,正面较量!作品结算期限1周!
    Holy WenH Holy Wen
    AI音视频画图 minimax 视频生成

    参赛帖 ID:https://lcz.me/topic/3114
    3D YouTube:https://youtu.be/v_rxFEW-KYY
    2D YouTube:https://youtu.be/Rx3XUqPWGYA


  • [H3剑心比赛] RTX 5080 16 GB 单卡|MiniMax H3 Ref2VA 3D / 2D(官方权重,20 步,不加速)
    Holy WenH Holy Wen
    AI音视频画图 rtx5080 minimax 视频生成

    日志:comfyui_run_log_excerpt.txt
    2D 工作流:H3_2D_workflow_api.json
    3D 工作流 H3_3D_workflow_api.json


  • [H3剑心比赛] RTX 5080 16 GB 单卡|MiniMax H3 Ref2VA 3D / 2D(官方权重,20 步,不加速)
    Holy WenH Holy Wen
    AI音视频画图 rtx5080 minimax 视频生成

    3D CGI 成片:https://youtu.be/v_rxFEW-KYY
    传统 2D 动画成片:https://youtu.be/Rx3XUqPWGYA
    工作流(ComfyUI API JSON):H3_3D_workflow_api.json、H3_2D_workflow_api.json(附件 / 证据包)
    Total Time 日志、ffprobe 校验、关键帧对比:见下方,附件里有完整日志文本

    这两条是一次生成、没有剪接拼接的结果:每条视频只做了一件后处理,就是把模型一次输出的 294 帧取前 288 帧(12.000 秒)并重新编码。我选的是画质,不是速度:不用蒸馏 LoRA,不用任何加速。

    硬件与环境

    项目 内容
    GPU NVIDIA GeForce RTX 5080 16 GB(ComfyUI 报告 Total VRAM 15902 MB),功耗限制 300 W
    CPU / 内存 Intel Core Ultra 7 265K / 2×48 GB DDR5-6400(ComfyUI 报告 RAM 95917 MB)
    系统 Debian 13(命令行,无桌面),内核 7.2.12,NVIDIA 驱动 620.70.06
    软件 ComfyUI 0.45.0(原生 MiniMax H3 节点),Python 3.13.5,PyTorch 2.14.1+cu130,前端 1.59.1
    其他 运行中 nvidia-smi 观察到显存约 15.4–15.6 GB(非连续采样,不是严格峰值)

    模型与工作流

    • 模型:MiniMax H3 Ref2VA,Comfy-Org/MiniMax-H3 官方 ComfyUI 版本
      • 扩散模型 minimax_h3_ref2va_pruned_int8_convrot.safetensors(19.5 GB)
      • 文本编码器 qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors(14.6 GB)
      • 视频 VAE minimax_h3_video_vae_fp16.safetensors,音频 VAE minimax_h3_audio_vae_fp32.safetensors
    • 图结构与官方 video_minimax_h3_r2v 模板一致:UNETLoader → BasicGuider;MiniMaxH3ReferenceToVideo(ref_image_size = match)出条件和空潜变量;SamplerCustomAdvanced 采样;VAEDecode + VAEDecodeAudio → CreateVideo(24 fps)→ SaveVideo。
    • 采样:res_multistep,调度器 simple,20 步,种子 2026111402(3D、2D 相同)。没有 LoRA,没有 SigmaShift,没有 CFG(权重本身是 CFG 蒸馏的)。
    • 分辨率 1344×768;节点长度 294 帧(H3 的 17k+5 帧网格)。导出后用 ffmpeg 取前 288 帧 / 12.000 秒(H.264 CRF 12,AAC 192 kbps)。没有缩放、补帧、裁切、剪接。

    加速手段

    没有。 没有蒸馏 LoRA,没有 SageAttention / SOL Attention,没有 INT4 / W4A8 权重,没有分块 MLP;注意力是 ComfyUI 默认的 PyTorch attention。16 GB 显存放不下 19.5 GB 扩散模型加 14.6 GB 编码器,靠 ComfyUI 自带的 Dynamic VRAM / 异步权重卸载(日志里有 DynamicVRAM support detected and enabled),96 GB 内存承担卸载。

    提示词

    正文用比赛统一提示词原文,只把第一行的风格标签换成 (Style: 3D CGI animation) 或 (Style: 2D traditional anime)。在最前面加了一行图片对应说明(没有加任何动作描述):

    3D 版(6 张图,按主帖顺序):
    <Picture 1> and <Picture 2> are 2D anime artwork of the red-clad swordsman (Jianxin), used for his face, hair, scar and costume details; <Picture 3> is a 3D figure render of the red-clad swordsman (Jianxin); <Picture 4>, <Picture 5> and <Picture 6> are 3D figure renders of the purple-robed warrior (Zhizhixiong).

    2D 版(5 张图):
    <Picture 1> and <Picture 2> are 2D anime artwork of the red-clad swordsman (Jianxin); <Picture 3>, <Picture 4> and <Picture 5> are 3D figure renders of the purple-robed warrior (Zhizhixiong), used only for his appearance and costume.

    说明:六张参考图里剑心 1、2 是 2D 立绘,剑心 3 和志志雄 1–3 是 3D 手办图。2D 版按 terry 在 #8 的说法不用 3D 的剑心图,所以少用一张;志志雄没有 2D 图,只能用 3D 手办图,因此 2D 版的志志雄仍带一些 3D 手办质感。

    Total Time(ComfyUI 日志 Prompt executed in)

    版本 Total Time 其中 20 步采样 ffprobe 校验
    3D 00:45:31(2731 s) 44:35(133.8 s/步) 1344×768 · 24 fps · 288 帧 · 12.000 s,音轨 AAC
    2D 00:43:50(2630 s) 42:47(128.4 s/步) 1344×768 · 24 fps · 288 帧 · 12.000 s,音轨 AAC

    计时口径:从提交任务到 MP4 写完,含文本和参考图编码、采样、视频/音频解码和封装;不含 ComfyUI 进程启动和后面的 ffmpeg 裁剪重编码。完整日志见附件 comfyui_run_log_excerpt.txt(用户名和 IP 已抹掉)。

    画面

    • 3D 版:开场是剑心拿剑的大特写,随后是突进、火焰反击,中央碰撞时有一团爆炸火花和冲击,环绕镜头里带一圈火环,结尾两人同框都面向镜头,志志雄的剑指向镜头,剑心伸臂持剑。
    • 2D 版:赛璐璐线条更明显,开场剑光划过镜头,碰撞有火花和冲击,中间有一个志志雄脸部的特写,环绕镜头有火环,结尾两人同框面向镜头,志志雄的剑指向前方。
    • 不足:提示词写的是“低角度跟拍开场”,3D 版开场实际是剑心大特写;剑心的“落地”动作不明显;2D 版志志雄脸部特写那几帧边缘有点粗糙,志志雄整体仍带手办的 3D 质感。

    我试过的其他配置(都是整条重跑,没有剪接)

    同一提示词、同一参考图、同一种子(除注明外 2026111402),match 参考尺寸:

    配置 Total Time 观察
    20 步,无 LoRA(本帖) 3D 45:31 / 2D 43:50 碰撞和环绕最清楚,没有重影,结尾正确
    官方 4 步 Turbo LoRA v0.1 3D 10:01 / 2D 9:38 快 4.5 倍,结构基本对,环绕镜头有糊影/拖尾,个别帧发虚
    lightx2v 8 步 Ref2VA LoRA v1.1(Euler,shift 12/3) 3D 18:56 / 2D 18:12 结尾很清楚,但中段碰撞/环绕的火焰拖影、重影和网格噪点比 4 步还重
    lightx2v 8 步 Ref2VA LoRA v1.0(同上,仅 3D) 18:55 中段同样糊,结尾志志雄的剑朝下
    20 步,种子 2026111401(3D,不同种子) 45:45 画面清楚,但最后约 2 秒收成志志雄的静态全身像、剑心消失,疑似复制了志志雄 1 号参考图

    只试了两个种子(2026111401、2026111402),样本很小,不能说明哪种配置“普遍更好”,只代表这个提示词和这几张图上的情况。

    为什么 16 GB 慢:20 步时每步约 128–134 s,大头是步数多和模型需要在内存与显存间搬运;3047 帖里 5070 Ti 用 6 步 LCM + Pika LoRA + SOL Attention 只要 390 s。我没有拆分各因素的占比。

    复现

    # ComfyUI >= 0.45;官方权重 Comfy-Org/MiniMax-H3 里上面列出的 4 个文件;
    # 把 6 张参考图放到 ComfyUI/input/,文件名见 API JSON 里 LoadImage 节点
    python main.py --listen 127.0.0.1 --port 8188
    python run_h3.py --style 3D --tag h3_3d --seed 2026111402 --ref-size match --refmap --steps 20
    python run_h3.py --style 2D --tag h3_2d --seed 2026111402 --ref-size match --refmap --steps 20
    

    run_h3.py 会把完整的 API 图存成 runs/<tag>.api.json,同样的 JSON 可以直接 POST 到 /prompt。我没有验证这份 API JSON 能不能直接拖进 ComfyUI 界面。

    注:MiniMax H3 社区许可对本地输出的商用另有规定,本作品仅用于本次比赛。


  • RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文)
    Holy WenH Holy Wen
    LLM讨论区 rtx5080 qwen 本地模型

    5.3 补测:route-prior 与 route-tail-skip(会改变输出的选项)

    参考帖子(Basalt 0.3.2、RTX 5060 Ti)里提速最多的就是这两个选项。Basalt 文档把它们归为"有损":route-prior LAMBDA 给显存里已有专家的路由 logit 加 LAMBDA(偏向已缓存专家),route-tail-skip R 在显存里没有的专家排名不高于 R 时直接跳过。每次只改 engine 里的这几项,其余同第 2 节,每个变体重启一次引擎,并确认参数确实出现在引擎进程命令行里(启动日志同时有 lossy flags enabled 警告)。基线是前一天同配置的结果,不是同一次开机测的。

    "engine": { "resident-experts": true, "route-prior": 1.5, "route-tail-skip": 7 }
    

    编程任务 A(输出约 2 万多 token,速度用"输出 token ÷ 总耗时",每个变体 4 次):

    变体 通过 生成速度 tok/s 相对基线
    基线 4/4 129–134 –
    route-tail-skip 7 3/4(1 次 2 个测试失败) 161–173 +28%
    route-prior 1.5 4/4 256–273 +100%
    两个都开 4/4 244–270 +96%

    长上下文检索(提示处理 / 生成 tok/s,暗号全部找回):

    输入 基线 tail-skip 7 prior 1.5 两个都开
    8K 4401 / 132 4476 / 179 4472 / 277 4463 / 276
    32K 5476 / 149 5555 / 182 5534 / 273 5538 / 285
    65K 5974 / 137 5972 / 184 5977 / 264 5967 / 288
    133K 5708 / 115 5726 / 165 5712 / 239 5703 / 240
    188K 5489 / 118 5499 / 148 5491 / 225 5485 / 236

    编程任务 B / C(生成 tok/s,全部 11/11 通过):基线 112 / 107;tail-skip 136 / 138;prior 254 / 234;两个都开 262 / 245。

    专家缓存命中率(服务端日志里各请求 hit= 的中位数):基线 64%,tail-skip 72%,prior 97%,两个都开 97%。内存/显存占用与基线一致(约 73 GB / 15.2 GiB)。

    要点:

    • route-prior 1.5 是主要增益,生成速度约翻倍,预填充不变。route-tail-skip 7 单开约 +28%,和 prior 一起开时没有额外收益。这与帖子的趋势一致(帖子里 23 → 27.5 → 55 tok/s)。
    • 命中率从 64% 升到 97%,很可能是提速的原因;同时它也解释了 5.1 里基线"长上下文下生成变慢"(命中率随上下文下降)被抹平了大半。这是相关性,我没有单独验证。
    • 质量代价我没有测出明确结论。我只有任务 A 的通过次数(prior 4/4、两个都开 4/4、tail-skip 3/4),样本太小,不能说明差异;tail-skip 那次失败是模型写的测试有问题还是缓存实现有问题,我没有逐个检查。没有跑困惑度/KLD。帖子作者说 route-prior 取 1.5 是安全点、取 16 会严重退化,文档也提供了质量门,这里均未复现。
    • 这两个选项会改变输出(同一提示的答案可能不同),不适合需要可复现结果的场合。

  • RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文)
    Holy WenH Holy Wen
    LLM讨论区 rtx5080 qwen 本地模型

    RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文)

    先说明:这是我自己一台机器上的实测,每项只跑了一次或少数几次,没有大规模质量评测。对比数据取自我之前在同一台机器上用 Strata 的测试,不是同一时间窗口的严格对照。所有数字请当作量级参考。

    TL;DR

    • 官方 Qwen3.8-FN-NVFP4-DQ6_K.basalt 文件 131.7 GB(122.6 GiB),在 96 GB 内存 + 16 GB 显存的机器上能放进去:启动日志显示常驻 67.8 GiB(显存 13.4 + 内存 54.4),没有专家留在 SSD。
    • 预填充(读提示)5,400–6,000 tok/s;192K 附近的检索测试通过。生成速度随上下文变长从约 150 降到约 116 tok/s。
    • 编程任务 A(写缓存加单元测试)重复 4 次全部通过,实测生成约 130 tok/s。
    • 和我之前用 Strata 跑 UD-Q4_K_XL 相比,预填充快约 35–41%,生成快约 25–60%(长上下文检索里差距较小,编程任务里较大)。和 Strata + IQ3_S 相比,预填充快 21–37%,但长上下文下生成速度更低。
    • 关键是"为什么能放进去":NVFP4 的专家只有 63.3 GiB,而 50.7 GiB 的 PLE 表放在 SSD 上读取,不占内存预算。下面有每个包的精确算法和数字。

    1. 硬件与软件

    项目 内容
    GPU NVIDIA GeForce RTX 5080 16 GB(sm_120),PCIe 5.0 ×16,功率限制 300 W(默认 360 W)
    CPU Intel Core Ultra 7 265K(20 线程,无 AVX-512,Basalt 启动时有警告,专家内核走 AVX2)
    内存 2×48 GB DDR5-6400,可用 93.7 GiB
    存储 NVMe SSD(内核日志显示 Lexar NM990 1TB)
    系统 Debian 13(命令行模式),内核 7.2.12(backports),Secure Boot 关闭
    驱动 NVIDIA 620.70.06(开源内核模块);系统里只装了 CUDA 13.5 运行库(cudart、cuBLAS),没有装完整 Toolkit
    引擎 Basalt v0.3.3 预编译包 basalt-v0.3.3-linux-x64.tar.gz(63.8 MB,SHA256 11a40d39…729a8f,与 Release 页面的 digest 一致)
    模型 jesdga/Qwen3.8-Flash-Next-Basalt 仓库(revision 65de5a9e)的 Qwen3.8-FN-NVFP4-DQ6_K.basalt,131,681,979,197 字节,SHA256 177f9b70…15fad33(与 Hugging Face 记录一致)

    2. 配置

    basalt_config.json(没有开任何会改变输出的选项):

    {
      "version": 2,
      "models": [
        { "alias": "qwen3.8-flash-next-nvfp4-dq6k",
          "model": "../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt",
          "gpu": "0", "kv": "int8", "max-context": 196608 }
      ],
      "engine": { "resident-experts": true },
      "server": { "host": "127.0.0.1", "port": 8080 }
    }
    

    启动:bin/basalt serve --config basalt_config.json(只设了 LD_LIBRARY_PATH 指向 CUDA 运行库;没有提升 ulimit -l)。

    引擎默认选的:spec=8(MTP 投机解码)、prefill auto、视觉关闭(images=off)、弹性 KV(kv 0.7/3.0 GiB cuda0 elastic)。没有使用 relaxed-drafting、route-prior、route-tail-skip。

    3. 内存:为什么 132 GB 的包能在 96 GB 内存上跑

    .basalt 文件开头有 64 KiB 的头(魔数 BASALTMF,每段一个 128 字节条目,含偏移和大小)。我用 HTTP Range 只读了头和 meta 段(JSON,含每个张量的类型和字节数),没有下载整个文件,就算出了每个包的构成。

    NVFP4-DQ6_K 的构成(GiB):

    部分 大小 说明
    专家(NVFP4) 63.28 NVIDIA 的 NVFP4 专家码原样搬运
    稠密权重(gguf 段去掉 PLE + dense 段) 6.36 Q6_K 等
    hc、MTP 草稿器 1.43
    必须常驻合计 71.08 放内存 + 显存
    PLE 表 per_layer_token_embd.weight 50.66 Q8_0,形状 [160, 320001536],54,400,261,120 字节,放在 SSD 上读取
    视觉投影 0.85 本测试视觉关闭

    所有 Qwen3.8-Flash-Next 包的对照(GiB,同样的算法,为我自己的计算😞

    包 文件 PLE 类型 PLE 专家 常驻(去掉 PLE)
    UD-IQ1_S 65.57 IQ4_NL 26.82 31.10 37.85
    UD-IQ1_M 67.09 IQ4_NL 26.82 32.42 39.37
    UD-IQ2_XS 74.37 IQ4_NL 26.82 39.38 46.66
    UD-IQ3_XXS 81.59 IQ4_NL 26.82 46.84 53.87
    UD-IQ4_XS 90.94 IQ4_NL 26.82 56.24 63.22
    UD-Q4_K_XL 107.39 IQ4_NL 26.82 71.73 79.67
    NVFP4-DQ6_K 122.64 Q8_0 50.66 63.28 71.08
    NVFP4-DQ8 123.28 Q8_0 50.66 63.28 71.72
    UD-Q5_K_XL 151.12 Q8_0 50.66 91.61 99.56
    UD-Q6_K_XL 161.25 Q8_0 50.66 101.75 109.69
    Q8_0 179.00 Q8_0 50.66 119.53 127.44

    交叉验证:用同样口径算 UD-Q4_K_XL 的专家是 71.73 GiB,和我之前用 Strata 跑它时日志里的 loaded 71.73 GiB 完全一致。

    实测占用(Basalt 启动日志与系统快照):

    项目 数值
    加载 loaded 67.8GiB 16.4s cuda0=13.4GiB ram=54.4GiB(文件当时在页缓存里,刚做完 SHA256 校验,所以 16.4 秒不代表冷启动)
    日志警告 没有 experts on SSD 警告
    系统内存 已用约 72.6–73.3 GB,可用约 22.6–23.3 GB(测试全程基本不变)
    显存 15.2–15.3 GiB / 16 GiB
    引擎进程磁盘读 一次 8K 提示 714 MiB,一次 65K 提示 379 MiB(数百 MiB 量级,与 PLE 在 SSD 上读取相符,我没有进一步拆分;系统页缓存约 23 GB)
    峰值功耗 约 303 W(限制 300 W,每秒采样有轻微过冲)

    4. 测试方法

    • 检索:在约 8K / 32K / 64K / 128K / 188K token 的填充文本正中间埋一个暗号,问模型暗号是什么,temperature=0,每档一次。输出只有一个暗号,所以"生成速度"偏高,不代表长文生成。
    • 编程任务 A:几乎没有上下文,让模型写带单元测试的 TTL/LRU 缓存(类、淘汰规则、可注入计时器),用 unittest 运行模型写的文件;max_tokens=30000(太小会把输出截断,我第一次就是这样失败的)。
    • 编程任务 B / C:把真实 Python 标准库源码拼成约 86K / 约 151K token 的堆,正中间埋一个"定价模块"(阶梯折扣门槛 37 和 120、各地区税率、最低收费 5.00),让模型重写等价函数,用 11 个用例(含边界)与原模块比对。
    • 速度字段取自响应的 timings。注意:Basalt 在长输出请求上,引擎报的 predicted_per_second 有时不可信:任务 A 四次里有两次报了 181.7 和 185.1 tok/s,而按"输出 token ÷ 总耗时"算只有 133.6 和 129.3 tok/s;其中第一次的"解码耗时"字段只有 11.3 秒,却对应 24,560 个输出 token,不可能。所以任务 A 的生成速度我一律用"输出 token ÷ 总耗时"。
    • 请求必须带 model 字段(Basalt 有多模型路由,不带会返回 404 model is required)。

    5. 结果

    5.1 长上下文检索(提示处理 tok/s / 生成 tok/s)

    输入 token Basalt NVFP4-DQ6_K(192K) Strata UD-Q4_K_XL(192K) Strata IQ3_S(256K) 暗号
    7,883 4,402 / 133 3,267 / 82 3,626 / 144 ✅
    31,955 5,476 / 150 3,878 / 92 4,434 / 172 ✅
    65,332 5,975 / 138 4,229 / 92 4,371 / 168 ✅
    132,934 5,708 / 116 4,090 / 92 4,291 / 169 ✅
    187,865 5,490 / 118 3,958 / 96 (未测此长度) ✅
    • 预填充:Basalt 比 Strata UD-Q4_K_XL 快约 35–41%,比 Strata IQ3_S 快约 21–37%。
    • 生成:Basalt 从 150 降到 116 tok/s(长度从 32K 到 133K),Strata 的两组基本是平的。在 133K 处 Basalt 比 Strata IQ3_S 低约 31%。我没有深入查原因。
    • 这个测试输出很短,生成速度会受推测解码接受率影响(Basalt 日志里接受率 79–97%)。

    5.2 编程任务

    任务 Basalt NVFP4-DQ6_K Strata UD-Q4_K_XL(同机) Strata IQ3_S(同机)
    A:缓存加单元测试 4/4 通过;输出 20,070–24,704 token,耗时 153.7–191.1 s,约 129–134 tok/s 4/4 通过;约 2.5 万 token,约 300 s,约 80 tok/s 通过(1 次);约 2.4 万 token,约 169 s,141 tok/s
    B:86K 上下文改写 11/11;输出 1,197 token,25.6 s;预填充 5,771,生成 112.5 11/11;1,040 token,36.9 s;预填充 3,994,生成 71.1 11/11;690 token,25.1 s;预填充 4,406,生成 127.7
    C:151K 上下文改写 11/11;输出 953 token,35.6 s;预填充 5,652,生成 107.4 11/11;905 token,49.5 s;预填充 4,072,生成 73.2 (未测同长度;223K 时 11/11,70.3 s)
    • 任务 A 四次的单元测试数量是 19/21/20/18(模型每次自己写的数量不同)。
    • B 的总耗时 Basalt 和 Strata IQ3_S 几乎一样(25.6 对 25.1 s),因为 Basalt 预填充更快,但这次输出了更多 token、生成更慢。

    6. DQ6_K 与 DQ8 的区别(引用 Basalt 文档,我没有测 DQ8)

    名字里的 D 指稠密投影层的格式:DQ6_K 是 Q6_K,DQ8 是 Q8_0;专家、PLE 完全相同。

    • 大小:DQ8 文件多 0.64 GiB(123.28 对 122.64 GiB)。
    • 质量(文档数据):默认配置 KLD 0.06213、top-1 91.59%;换成 Q8_0 稠密层 KLD 降约 0.0059、top-1 提高约 0.55 个百分点。文档称这是默认配置里唯一有可测量代价的舍入。
    • 速度(文档数据,双卡 RTX 5090 + 5060 Ti):DQ8 解码慢约 5–9%,预填充慢约 1%。文档另一处写"散文慢约 7%、结构化输出慢约 3%",与表里的结构化数字(约 9%)不一致。

    7. 局限

    • 只在一台机器上测,每项一次(任务 A 四次),1–5% 的差异在噪声范围内。
    • 只测了 192K,没有测 256K;检索最大 188K,没有跑满。
    • 编程任务只证明"长上下文里检索加改写能做对",不代表大型代码库里的复杂推理质量。没有测困惑度或其他质量指标。
    • 没有测 route-tail-skip、route-prior、relaxed-drafting 这些会改变输出的选项(帖子和文档里提到的提速手段)。
    • 与 Strata 的对比不是同窗口严格对照:Strata IQ3_S 是 256K 上下文、DFlash2 草稿器、经 systemd 运行;Strata UD-Q4_K_XL 和 Basalt 是 192K。Basalt 用 MTP 草稿器。Basalt 的"思考预算"还会随输出上限自动缩放(日志里 thinking budget 200 tokens, output cap 400 (answer-room auto)),短输出测试里这可能影响输出长度。
    • 页缓存状态不同:Basalt 加载时文件在页缓存里,冷启动时间我没有测。
    • 引擎在长输出请求上报的解码速度字段不可靠(见第 4 节),任务 A 的速度我用的是总耗时折算值。

    8. 复现

    # 取 Basalt 预编译包并校验(digest 以 Release 页面为准)
    wget https://github.com/jesdga95/basalt/releases/download/v0.3.3/basalt-v0.3.3-linux-x64.tar.gz
    sha256sum basalt-v0.3.3-linux-x64.tar.gz     # 11a40d39890531b62516a4f84e4cedb1b7c6cc1113827e50cc10ab0073729a8f
    tar xzf basalt-v0.3.3-linux-x64.tar.gz && cd basalt-v0.3.3-linux-x64
    python3 -m venv .venv && .venv/bin/pip install -r requirements.txt     # 需要 python3-venv
    
    # 需要 R580 以上驱动和 CUDA 13 运行库(cudart、cuBLAS)
    export LD_LIBRARY_PATH=/usr/local/cuda-13.5/lib64:$LD_LIBRARY_PATH
    
    # 模型(可续传),下完核对 SHA256
    wget -c -O ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt \
      https://huggingface.co/jesdga/Qwen3.8-Flash-Next-Basalt/resolve/65de5a9e636e8bbe1200cbcd6eb8aa421e6a66c6/Qwen3.8-FN-NVFP4-DQ6_K.basalt
    sha256sum ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt   # 177f9b70c63ecd7efd17fc705ad85a8c8253d59e4f04dd10a001b556d15fad33
    
    bin/basalt serve --config basalt_config.json        # 配置见第 2 节
    

    请求示例(注意要带 model😞

    curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' \
      -d '{"model":"qwen3.8-flash-next-nvfp4-dq6k","messages":[{"role":"user","content":"你好"}],"max_tokens":200}'
    

    读取任意包的构成(不用下载整个文件):用 HTTP Range 取文件开头 64 KiB,按 FileHeader(64 字节:魔数 8、版本 4、段数 4、文件大小 8、保留 40)加每段 128 字节条目(名字 64、偏移 8、大小 8、SHA256 32、保留 16)解析;meta 段是 JSON,tensors 里有每个张量的类型和字节数。

    9. 想请教的

    1. 有人在 16 GB 显卡上对比过 DQ6_K 和 UD-IQ4_XS/UD-IQ3_XXS 的速度吗?我只测了 DQ6_K。
    2. Basalt 长上下文下生成速度从 150 降到 116 tok/s,Strata 同条件下基本是平的,有人知道原因吗?(我猜与专家缓存命中率和 KV 流式有关,没有验证)
    3. 引擎在长输出请求上报的 predicted_per_second 不一致,是已知问题吗?

  • 单张 RTX 5060 Ti Ubuntu 上运行 Qwen3.8-Flash-Next(UD-Q4_K_XL,192K 上下文)的完整调优记录
    Holy WenH Holy Wen
    LLM讨论区 rtx5060 qwen ubuntu

    跑NVFP4的模型是不是更好?

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组