跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI音视频画图
  4. 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少?—— 答案1050%↑

【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少?—— 答案1050%↑

已定时 已固定 已锁定 已移动 精华 热议 AI音视频画图
7900xtx视频生成多卡部署
59 帖子 15 发布者 2.9k 浏览 3 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • K koala

    测试过程相当详细,如果楼主方便的时候把生成出来的视频也粘贴一下,看看实际效果。
    怎么说呢,数值是有绝对提升的,但是视频这个东西,最后是要看动画效果的,能动的不一定能用。
    比如一条龙环绕人体,或者空中高速移动的时候,加速到这种程度还能正常观赏,那就是比较实用的。

    xiongjie gaoX
    xiongjie gaoX
    xiongjie gao
    王侯将相
    编写于 最后由 编辑
    #32

    @koala 好,以前测试如果有必须的配上。
    很多时候是为了测试,没有具体指定生成内容。我也看过测试后交付的产物,感觉没啥必须PO出来😁

    https://github.com/shawn86574-prog/x99-7900xtx-p2p
    https://github.com/shawn86574-prog/kuzuryusen

    1 条回复 最后回复
    0
    • J IJ J I

      @terry 画质我对比过,同样模型和设置下,A 卡和 N 卡出片效果看起来一样。

      我之前测的是自己短片里的几个片段。双 7900 XTX TP2 测了 768p 8 秒,没测 768p 15 秒;不过也测了 1080p 8 秒。1080p 分辨率更高,8 秒的计算和显存压力跟 768p 15 秒已经比较接近,甚至可能更大。

      在我自己的工作流和 Vast.ai 租卡测试里,N 卡跟双 7900 TP2 的实际差距没有 2867 帖子里 5080 看起来那么大,大约最多两倍不到(而且我的双卡7900xtx限制了频率在2300,功耗最多也就跑220w)。我猜可能跟我的流程一直用了 Sol-Attn 稀疏注意力有关

      所以纯做 H3 视频,我目前更倾向 N 卡,比较省心。差距可能跟算子、驱动和 ComfyUI 生态都有关系,希望后面有社区大佬用ai帮忙优化一下 AMD 😄

      不过双 7900 也有自己的玩法:一张跑 Strata,另一张可以打游戏(这卡单卡游戏光栅性跟5080一样,价格只有一半?)、出图或者低分辨率跑 H3。我最后买了张 5070 Ti 专门跑 H3,双 7900 留给 Strata rdna3 tp。

      相关参赛贴: https://lcz.me/topic/3047

      xiongjie gaoX
      xiongjie gaoX
      xiongjie gao
      王侯将相
      编写于 最后由 编辑
      #33

      @J-I 这个是极好的解法。我尝试了很多方案,最终也是奔着这个方向去的

      https://github.com/shawn86574-prog/x99-7900xtx-p2p
      https://github.com/shawn86574-prog/kuzuryusen

      1 条回复 最后回复
      0
      • Leon YL Leon Y

        双 3090 + --use-ck-attention:单变量 A/B,端到端 1.95×

        平台:2× RTX 3090 24 GB(Ampere sm_86),NVLink 4(实测 P2P 49 GB/s),Ryzen 9 5950X,60 GB DDR4,Ubuntu 26.04 / CUDA 13.1 / torch 2.14.1+cu130

        工作流:MiniMax-H3 int8,576×1024,362 帧(15 s @ 24fps),8 步 + 8 步 turbo LoRA,res_multistep / simple,BasicGuider(无 CFG)

        A/B(同机同工作流,唯一变量是这个 flag):

        启动参数 日志里的后端 端到端
        main.py --port 8189 --listen 0.0.0.0 Using pytorch attention 891 s
        ... --use-ck-attention Using Comfy Kitchen attention 457 s
        1.95×
        补充观察:

        ① 先做注意力微基准,比"能不能出片"可靠

        python

        4096 token,SDPA×20 取均值

        正常: 2.7 ms/次 ← 健康
        异常: 数百 ms ← 静默降级
        这条来自你 F2 的思路,我照做了,确认没走兜底路径之后才去测端到端。

        ② 你的 F1 在 CUDA 上有等价陷阱:我用 torch 2.14.1+cu130 对系统 CUDA 13.1,同源。minor 版本错配同样会让内核失效且不报错。

        ③ --disable-pinned-memory 是我这边的必要设置:两个实例各驻留 23 GB 模型,60 GB RAM 放不下锁页缓冲区。代价是模型加载慢 1.5-3 倍,但只在加载阶段,采样不受影响。

        ④ 我现在是"双实例并行"而不是 TP2:两条片同时出,各自占一张卡。NVLink 插着但单实例 ComfyUI 用不到 —— 我试过 Comfy-H3-MultiStream(装得上、零依赖、六个节点正常),它的价值在"能原生跑 720×1280 而不是生成后放大",不在"更快",所以我暂时撤了。

        ⑤ 感谢那 12 条失败档案 —— F8(同 seed 命中节点缓存造出假的 7.1 s)和 F2 直接帮我省了时间。

        xiongjie gaoX
        xiongjie gaoX
        xiongjie gao
        王侯将相
        编写于 最后由 编辑
        #34

        @Leon-Y N卡应该有更好的解法。比如原生的aimdo

        https://github.com/shawn86574-prog/x99-7900xtx-p2p
        https://github.com/shawn86574-prog/kuzuryusen

        Leon YL 1 条回复 最后回复
        0
        • xiongjie gaoX xiongjie gao

          @Leon-Y N卡应该有更好的解法。比如原生的aimdo

          Leon YL
          Leon YL
          Leon Y
          体面乡绅 硕果累累
          编写于 最后由 编辑
          #35

          @xiongjie-gao 说:

          aimdo

          aimdo帮不了提速,只能跑大一点的模型

          xiongjie gaoX 1 条回复 最后回复
          0
          • Leon YL Leon Y

            @xiongjie-gao 说:

            aimdo

            aimdo帮不了提速,只能跑大一点的模型

            xiongjie gaoX
            xiongjie gaoX
            xiongjie gao
            王侯将相
            编写于 最后由 xiongjie gao 编辑
            #36

            @Leon-Y Aimdo是保证高显存占用下不OOM的策略😊
            N卡用户天然就有的用,A卡用户得手搓代码绕着走

            https://github.com/shawn86574-prog/x99-7900xtx-p2p
            https://github.com/shawn86574-prog/kuzuryusen

            1 条回复 最后回复
            0
            • terryT terry

              高雄杰和库克给粉丝发N卡.jpeg
              高雄杰和苏姿丰给粉丝发A卡.jpeg

              杰杰拿下库克和Lisa-Su

              我对世界充满了轻蔑,我懂显卡,我也懂那些创造显卡的人.......
              这些人支配了AI,但我支配了他们!
              收下这些显卡,因为在我心中,它们一文不值!
              --雄杰-高

              kos orK
              kos orK
              kos or
              至尊皇帝
              编写于 最后由 编辑
              #37

              @terry said:

              杰杰拿下库克和Lisa-Su

              照片一放大 帥氣許多 😁

              terryT 1 条回复 最后回复
              0
              • kos orK kos or

                @terry said:

                杰杰拿下库克和Lisa-Su

                照片一放大 帥氣許多 😁

                terryT
                terryT
                terry
                易有太极
                编写于 最后由 编辑
                #38

                @kos-or 其实有些失真,我弟帅的是阳刚之气。对世俗的不屑一顾。

                油管:https://www.youtube.com/@抡锤者

                kos orK 1 条回复 最后回复
                1
                • ericyancwE
                  ericyancwE
                  ericyancw
                  编写于 最后由 ericyancw 编辑
                  #39

                  单卡 R9700 32G 跑 MiniMax-H3优化效果:每步从 353 秒到 114 秒

                  近期一直在搞R9700的Comfyui,搞得有点崩溃,我之前1344×768像素下,测出来的效果一直是每步 353 秒左右,做视频很痛苦。跟着大佬的帖子,让Agent梳理了下,目前提升到114秒

                  环境

                  项 对齐前 对齐后
                  GPU AMD Radeon AI PRO R9700 32 GB(gfx1201) 同左(未变)
                  系统 ROCm 7.2.53211 7.2.53211(未变)
                  venv 里的 torch 2.10.0+rocm7.0 2.11.0+rocm7.2
                  torch.version.hip 7.0.51831 7.2.26015
                  torchvision 0.25.0+rocm7.0 0.26.0+rocm7.2
                  torchaudio 2.10.0+rocm7.0 2.11.0+rocm7.2
                  ComfyUI 0.41.0 0.41.0(未变)
                  comfy_kitchen 0.2.38 0.2.38(未变)
                  权重 主模型 ref2va_pruned-w4a8 12 GB + 编码器 qwen3vl_32b-int4 13.5 GB + VAE 5 GB ≈ 31 GB 同左(未变)
                  出图规格 1344×768(1.03 MP)/ 294 帧 @ 24 fps = 12.25 秒 / 参考图 6 张(ref2v) 同左(未变)
                  启动参数 无额外开关 --use-ck-attention --disable-smart-memory

                  对齐前 torch 与系统 ROCm 分属 7.0 与 7.2(同大版本、次版本不同);对齐后两端均为 7.2。

                  之前的问题:

                  1. comfy_kitchen 0.2.38 其实早就装好了。 int8_attention_is_available() 在 R9700 上返回 True,HIP 后端也注册成功(backend hip: {'available': True, 'disabled': False})。
                  2. 但 ComfyUI 一直没带 --use-ck-attention 启动,所以跑的一直是兜底路径。日志原话:[INFO] Using pytorch attention。
                  3. 每步 353 秒就是这个兜底路径下的数字。作为参照,社区在 832×480 / 362 帧 / 8 步上测到 sub_quad 259 秒/步、CK 50.1 秒/步(外部数据,仅作量级参考)——353 秒与 sub_quad 那一档处于同一量级,而不是 CK 档。

                  加上开关后日志变成:

                  [INFO] Found comfy_kitchen backend hip: {'available': True, 'disabled': False, ...}
                  [INFO] Using Comfy Kitchen attention
                  [INFO] comfy-kitchen version: 0.2.38
                  

                  数据表

                  # 环境 torch / 系统 ROCm 启动参数 注意力后端(日志原文) 步数 每步 采样 端到端
                  1 之前 2.10.0+rocm7.0(HIP 7.0.51831)/ 7.2.53211 无额外开关 Using pytorch attention 8 ≈353 秒 未跑完 —
                  2 现在 同上,未变 --use-ck-attention --disable-smart-memory Using Comfy Kitchen attention 4 114.35 秒 7 分 37 秒 13 分 56 秒
                  3 现在 同上,未变 同上 同上 8 114.33 秒 15 分 14 秒 21 分 16 秒
                  4 对齐后 2.11.0+rocm7.2(HIP 7.2.26015)/ 7.2.53211 同上 同上 4 114.37 秒 7 分 37 秒 未留存
                  5 对齐后 同上 去掉 --use-ck-attention,仅 --disable-smart-memory Using pytorch attention 4 352.31 秒 23 分 29 秒 29 分 45 秒

                  五行同为 1344×768、294 帧、同一套 int4 权重,差别只在启动开关与 torch 版本。第 2、4 行用 4 步 LoRA,第 3 行用 8 步 LoRA;每步 114.35 / 114.33 / 114.37,说明单步成本与步数、LoRA 档位都无关,也与 torch 版本无关。

                  第 5 行是本轮补的关键对照:同一套 int4 权重、同一环境,只把 --use-ck-attention 去掉,每步从 114.37 秒回到 352.31 秒(3.08×)。这说明 3 倍差距完全由这一个开关造成,与其他变量无关。

                  三条同口径结论:

                  • 单步成本与步数、LoRA 档位无关:114.35 / 114.33 / 114.37。
                  • 单步成本与 torch 小版本无关:114.35(rocm7.0)对 114.37(rocm7.2)。
                  • 单步成本与权重精度档无关:353(fp8 组)对 352.31(int4 组),同一 SDPA 路径。

                  横向对照:同分辨率、同后端,单卡 vs 双卡

                  社区帖(RX 7900 XTX ×2,RDNA3,ROCm 7.2)与本机同分辨率实测并列。社区数据为其帖子表格原文,仅作量级对照;其序列为 362 帧,比本机 294 帧多 23%。

                  机器 显卡 卡数 分辨率 / 帧 注意力后端 每步
                  本机 R9700 32G(RDNA4) 1 1344×768 / 294 CK 114.37 秒
                  社区 7900 XTX 24G(RDNA3) 2(TP2) 1344×768 / 362 CK 112.3 秒
                  社区 7900 XTX 24G(RDNA3) 1 1344×768 / 362 CK 257.9 秒
                  本机 R9700 32G 1 1344×768 / 294 通用 SDPA 352.4 秒
                  社区 7900 XTX 24G 1 1344×768 / 362 sub_quad 兜底 OOM

                  两点可直接引用:

                  1. 一张 R9700 ≈ 两张 7900 XTX 的 TP2(114.37 对 112.3)。对方是两张卡张量并行,本机是一张卡。
                  2. 同分辨率单卡对比:114.37 对 257.9,快 2.25×。 扣掉帧数差(294 对 362,少 19%)折算后仍快约 1.8×。

                  低分辨率参照(社区,832×480 / 362 帧):sub_quad 兜底 259 秒、CK 单卡 53.7 秒、CK TP2 31.9 秒。该档像素仅 0.4 MP,约为本机 1.03 MP 的四成,不能与本机数字直接相比。

                  对齐 torch 与系统 ROCm 之后:大版本内的对齐,收益基本没有

                  先界定这次对齐的性质:venv 里 torch.version.hip 从 7.0.51831 变成 7.2.26015,系统是 7.2.53211,两端始终在 ROCm 7.x 这同一个大版本内,只差次版本。属于「大版本内对齐」——ROCm 同大版本保持 ABI 兼容,内核本来就能正常加载,可修的东西几乎没有。

                  对齐类型 典型例子 预期收益 实测
                  大版本内(本次) torch 7.0.51831 → 7.2.26015,系统 ROCm 7.2 接近 0,只消除隐患 114.35 → 114.37,+0.02%
                  跨大版本 torch +rocm10.1.0 链系统 ROCm 7.2(社区) 高,属修复静默降级 4.8×(259 → 53.7)
                  1 条回复 最后回复
                  3
                  • xiongjie gaoX
                    xiongjie gaoX
                    xiongjie gao
                    王侯将相
                    编写于 最后由 编辑
                    #40

                    @ericyancw 说:

                    单卡 R9700 32G 跑 MiniMax-H3优化效果:每步从 353 秒到 114 秒 近期一直在搞R9700的Comfyui,搞得有点崩溃,我之前1344×768像素下,测出来的效果一直是每步 353 秒左右,做视频很痛苦。跟着大佬的帖子,让Agent梳理了下,目前提升到114秒 环境 项 对齐前 对齐后 GPU AMD Radeon AI PRO R9700 32 GB(gfx1201…

                    啊,原来你之前也是没有做过ck attention这块的优化,那就属于直接捞了个最大的优化权重。ദ്ദി˶•̀֊•́)✧

                    https://github.com/shawn86574-prog/x99-7900xtx-p2p
                    https://github.com/shawn86574-prog/kuzuryusen

                    ericyancwE 1 条回复 最后回复
                    0
                    • xiongjie gaoX xiongjie gao

                      @ericyancw 说:

                      单卡 R9700 32G 跑 MiniMax-H3优化效果:每步从 353 秒到 114 秒 近期一直在搞R9700的Comfyui,搞得有点崩溃,我之前1344×768像素下,测出来的效果一直是每步 353 秒左右,做视频很痛苦。跟着大佬的帖子,让Agent梳理了下,目前提升到114秒 环境 项 对齐前 对齐后 GPU AMD Radeon AI PRO R9700 32 GB(gfx1201…

                      啊,原来你之前也是没有做过ck attention这块的优化,那就属于直接捞了个最大的优化权重。ദ്ദി˶•̀֊•́)✧

                      ericyancwE
                      ericyancwE
                      ericyancw
                      编写于 最后由 编辑
                      #41

                      @xiongjie-gao 说:

                      啊,原来你之前也是没有做过ck attention这块的优化,那就属于直接捞了个最大的优化权重。ദ്ദി˶•̀֊•́)

                      是的,感谢大佬!
                      之前一直没发现这个问题,当时就是感觉能跑 但一步要跑几分钟,所以头大。

                      xiongjie gaoX 1 条回复 最后回复
                      0
                      • ericyancwE ericyancw

                        @xiongjie-gao 说:

                        啊,原来你之前也是没有做过ck attention这块的优化,那就属于直接捞了个最大的优化权重。ദ്ദി˶•̀֊•́)

                        是的,感谢大佬!
                        之前一直没发现这个问题,当时就是感觉能跑 但一步要跑几分钟,所以头大。

                        xiongjie gaoX
                        xiongjie gaoX
                        xiongjie gao
                        王侯将相
                        编写于 最后由 编辑
                        #42

                        @ericyancw
                        image.jpeg

                        净捞干的,还是个大的,哈哈哈哈恭喜恭喜

                        https://github.com/shawn86574-prog/x99-7900xtx-p2p
                        https://github.com/shawn86574-prog/kuzuryusen

                        terryT 1 条回复 最后回复
                        1
                        • terryT terry

                          @kos-or 其实有些失真,我弟帅的是阳刚之气。对世俗的不屑一顾。

                          kos orK
                          kos orK
                          kos or
                          至尊皇帝
                          编写于 最后由 编辑
                          #43

                          @terry said:

                          其实有些失真,我弟帅的是阳刚之气

                          杰杰他都這麼帥了 還失真喔 😵
                          地球上又帥又會玩7900 XTX 24G的人可是鳳毛麟角
                          但都集中在我們的論壇上 😁

                          1 条回复 最后回复
                          0
                          • xiongjie gaoX
                            xiongjie gaoX
                            xiongjie gao
                            王侯将相
                            编写于 最后由 xiongjie gao 编辑
                            #44

                            @kos or 说:
                            杰杰他都這麼帥了 還失真喔 地球上又帥又會玩7900 XTX 24G的人可是鳳毛麟角 但都集中在我們的論壇上

                            😂莫嫖我了老哥

                            https://github.com/shawn86574-prog/x99-7900xtx-p2p
                            https://github.com/shawn86574-prog/kuzuryusen

                            1 条回复 最后回复
                            1
                            • xiongjie gaoX xiongjie gao

                              @ericyancw
                              image.jpeg

                              净捞干的,还是个大的,哈哈哈哈恭喜恭喜

                              terryT
                              terryT
                              terry
                              易有太极
                              编写于 最后由 编辑
                              #45

                              @xiongjie-gao 我弟你怎么和我的爱好如此重叠。这片子我可老爱看了,特别是徐爷的人生轨迹,为国拼杀,结果牢底坐穿。他给文三买了一辆车,尽显重情重义。文三去下馆子,后来石头片子蘸醋下酒,也是名场面。这个片段是白爷捞自助的段子吧。

                              油管:https://www.youtube.com/@抡锤者

                              1 条回复 最后回复
                              0
                              • xiongjie gaoX
                                xiongjie gaoX
                                xiongjie gao
                                王侯将相
                                编写于 最后由 编辑
                                #46

                                @terry 说:

                                @xiongjie-gao 我弟你怎么和我的爱好如此重叠。这片子我可老爱看了,特别是徐爷的人生轨迹,为国拼杀,结果牢底坐穿。他给文三买了一辆车,尽显重情重义。文三去下馆子,后来石头片子蘸醋下酒,也是名场面。这个片段是白爷捞自助的段子吧。

                                哈哈哈哈哈哈哈哈对
                                白爷在捞瞪眼食儿ദ്ദി˶•̀֊•́)✧

                                https://github.com/shawn86574-prog/x99-7900xtx-p2p
                                https://github.com/shawn86574-prog/kuzuryusen

                                terryT 1 条回复 最后回复
                                0
                                • xiongjie gaoX xiongjie gao

                                  @terry 说:

                                  @xiongjie-gao 我弟你怎么和我的爱好如此重叠。这片子我可老爱看了,特别是徐爷的人生轨迹,为国拼杀,结果牢底坐穿。他给文三买了一辆车,尽显重情重义。文三去下馆子,后来石头片子蘸醋下酒,也是名场面。这个片段是白爷捞自助的段子吧。

                                  哈哈哈哈哈哈哈哈对
                                  白爷在捞瞪眼食儿ദ്ദി˶•̀֊•́)✧

                                  terryT
                                  terryT
                                  terry
                                  易有太极
                                  编写于 最后由 编辑
                                  #47

                                  @xiongjie-gao 真男人既要能在特殊时刻,效仿徐爷。也要能找到闲暇时刻,和白爷一样逍遥洒脱。当然了,和文爷一样,是大多数人的日常,也要甘之如饴。

                                  油管:https://www.youtube.com/@抡锤者

                                  xiongjie gaoX 1 条回复 最后回复
                                  0
                                  • terryT terry

                                    @xiongjie-gao 真男人既要能在特殊时刻,效仿徐爷。也要能找到闲暇时刻,和白爷一样逍遥洒脱。当然了,和文爷一样,是大多数人的日常,也要甘之如饴。

                                    xiongjie gaoX
                                    xiongjie gaoX
                                    xiongjie gao
                                    王侯将相
                                    编写于 最后由 编辑
                                    #48

                                    @terry 学文爷,把挨嘴把子当学费。
                                    疼,但不致命。平平安安活到八十。

                                    https://github.com/shawn86574-prog/x99-7900xtx-p2p
                                    https://github.com/shawn86574-prog/kuzuryusen

                                    E 1 条回复 最后回复
                                    1
                                    • E
                                      E
                                      Enigma
                                      硕果累累 贵族大夫
                                      编写于 最后由 编辑
                                      #49

                                      @xiongjie-gao 几天没来,又出了如此精品作业啊,苏妈的offer正飞奔过来...我再考虑要不要再屯一张7900

                                      1 条回复 最后回复
                                      1
                                      • xiongjie gaoX xiongjie gao

                                        @terry 学文爷,把挨嘴把子当学费。
                                        疼,但不致命。平平安安活到八十。

                                        E
                                        E
                                        Enigma
                                        硕果累累 贵族大夫
                                        编写于 最后由 编辑
                                        #50

                                        @xiongjie-gao 说:

                                        @terry 学文爷,把挨嘴把子当学费。
                                        疼,但不致命。平平安安活到八十。

                                        抄作业交卷:2×7900XTX 上把你的 3035 复现了一遍。单卡 6% 内对上,双卡要改你两行代码,另外顺手发现 sol 比 int8 还能再快一倍多。

                                        先认个错,我这台的数和你的不是一组:DiT 是 Minimax-h3_Singularity_ref2va_v2_Pruned_w4a8(12.55 GB,你的是 fl2va w4a8 11.7 GB)、TE 是 qwen3vl_32b_minimax_h3_nvfp4_awq(15.69 GB,你的 w4a8 是 26 GB)、LoRA 是 minimax_h3_dmd_ref2va_8step_turbo_pruned(你那个 turbo_v4_step600 在我们机器上是坏链接)、CPU 是 5950X 不是 E5-2696v4、两卡到 CPU 还是 x8。所以下面只比同档位的比值和你给的验收线。

                                        一、单卡:你的三档,我们都在 6% 内

                                        档 你的 我们
                                        832×480·124f·8 步 单卡 11.235 s/it 10.564(端到端 109.2 s)
                                        832×480·362f·8 步 单卡 53.7,显存 19.96 GB 50.78,20.01 GB
                                        1344×768·362f·2 步 单卡 257.9,显存 23.82 GB 251.90,23.84 GB

                                        (用的是你 kuzuryusen 仓库里那个 bench.py + run_tp.sh,只换了权重名和端口。)

                                        二、你 1050% 里最大的那层(F1),我们这台没有

                                        我们 venv 里是 torch 2.15.0+rocm7.14,/opt 里躺着 7.2.3 / 7.13.0 / 10.1 —— 按 F1 的说法这叫"看着就该坏"。但 S1 探针是健康的:

                                        路径 4096 8192 16384
                                        pytorch(SDPA) 13.2 85.3 1164.4
                                        kitchen int8 6.4 24.7 93.3
                                        kitchen sol 2.3 7.4 25.3
                                        basic(默认) 19.8 77.3 OOM(要 28.00 GiB)

                                        所以 F1 的正确用法是"用 S1 去证",不是看版本号猜 —— 这点你帖里已经写了,我只是补一个反例:版本不同源不等于内核坏。

                                        顺带一个建议:你那条 200 ms 的线,建议挪到 16384。 我们这台 SDPA 在 8192 只有 85 ms(过线),到 16384 是 1164 ms(×13.7,长度翻倍平方该 ×4)—— 8192 上是"假健康"。真实序列(1344×768·294f ≈ 30 万 token)比 16384 还远。

                                        三、双卡:p2p 只值 1%,真原因是 split_state_dict 取裸 key

                                        原样跑,三档全是负的:

                                        档 原样双卡 相对单卡 你的
                                        832×480·124f·8 11.95 s/it 0.88× 7.618(1.47×)
                                        832×480·362f·8 54.20 0.94× 31.9(1.68×)
                                        1344×768·362f·2 257.78 0.98× 112.3(2.30×)

                                        先按你的路子走了一遍 p2p:装 p2p_force、按你这台的真实 sysfs 拓扑生成 NCCL_TOPO_FILE(2e:00.0 → 2f:00.0/32:00.0)、重启后 isAllDirectP2p 1、通道 via P2P/IPC、你自己的 bootcheck 也 [OK] KFD 链路 2。只快 1%(11.99→11.95、54.20→53.59)。传输不是瓶颈。

                                        真原因在 comfyui-tp2/__init__.py 的 split_state_dict() 开头:

                                        qkv = sd.get("blocks.0.attn.qkv_proj.weight")     # 取不到 → return sd,静默、不切
                                        hd  = sd.get("blocks.0.attn.q_norm.weight")
                                        if qkv is None or hd is None:
                                            return sd
                                        

                                        我们这个 w4a8 检查点 1333 个 key 里 1332 个带 model.diffusion_model. 前缀,裸 key 0 个 → 每次都静默 return。于是两卡各算整个模型,每步 450 次 all_reduce / 15.1 GB;10.564 + 1.4 ≈ 11.95,一分不差。

                                        把取 key 改成允许 "" / model.diffusion_model. / diffusion_model. 三种前缀(就那两行),立刻听到:

                                        [tp2] rank0 state_dict split: heads 56->28, keys 1332
                                        
                                        档 切了之后 相对单卡 每卡显存
                                        832×480·124f·8 6.539 s/it,端到端 79.2 s 1.61× 23.74 GB
                                        1344×768·362f·2 131.66 s/it,端到端 370.4 s 1.91× 17.60 GB(−6.2)

                                        LoRA 那 208 个 shape 错也一起没了(模型切了,切过的 LoRA 就对上了)。

                                        但有个必须说清的:切了不等于单卡那一张。整帧 mean|Δ| 16.5/255(结构 14.7);参照是换 seed 重采 34.1、没切 54.8、同配置两次 0.00。全局统计一致(mean RGB 107/103/95 vs 110/103/94,std 66.8 vs 67.2)——不是坏图,但不是你验收表里的 max_abs_diff = 0。

                                        原因大概在格式:我们是打包 I8(qkv [21504,2688]、fc1 [28672,2688],头部没有 _quantization_metadata),你依赖的是 comfy_quant + codebook。打包 I8 按 K 对半切合不合法,得你判 —— 我只能给"快是真的"。

                                        四、彩蛋:sol_attn 比 int8 快,而且 1MP 单卡就够

                                        你 S1 表里 kitchen 只有 int8。但 attention.py 里还有 comfy_kitchen_sol(config 写 "attention": "comfy_kitchen_sol";节点下拉里没有,得自己 set_model_optimized_attention)。16k 上它是 int8 的 3.7×。

                                        搬进流水线(tau=1.0、seed 145、每档冷启动、其余开关不动、权重与上表相同):

                                        档 kitchen int8 sol s/it
                                        832×480·124f·8 单卡 10.53 / 108.2 s 8.09 / 87.2 s 1.30×
                                        832×480·124f·8 TP2 6.55 / 77.6 s 5.32 / 68.4 s 1.23×
                                        832×480·362f·8 单卡 50.78 / 455.6 s 28.96 / 280.5 s 1.75×
                                        1344×768·362f·2 单卡 250.58 / 596.8 s 105.00 / 312.5 s 2.39×
                                        1344×768·362f·2 TP2 132.40 / 367.6 s 60.47 / 226.3 s 2.19×

                                        三句话:

                                        1. 序列越长赢越多(1.2× → 2.4×),和你 S1 里 16k 那格的形态一致。
                                        2. 1MP 不用 TP2 了:单卡 sol 105.0 s/it,比 int8 双卡 132.4 还快,也接近你双卡的 112.3。代价是显存:0.4MP·362f 从 20.01 涨到 23.83(+3.8 GB),1MP 单卡仍装得下(23.83,没 OOM)。
                                        3. 输出约等于换一次 seed(30.5/255),是另一张同题图,不是坏图。

                                        五、想请你判两件事

                                        1. 打包 I8 按 K 对半切(qkv [21504,2688] → 每卡 [10752,2688])合不合法?如果不合法,我们那 1.91× 就只能当"能跑但别用"。
                                        2. sol 在你那套权重/环境上能不能也复现 2.4×?能的话,你 S4 的 112.3 大概还能再对半一次。

                                        代码我可以直接开 PR:split_state_dict 的后缀匹配 + 一个 18 行的 MiniMaxSOLAttention 节点(set_model_optimized_attention(partial(attention_comfy_kitchen_sol, tau=1.0))),要不要?

                                        xiongjie gaoX 6 3 条回复 最后回复
                                        2
                                        • E Enigma

                                          @xiongjie-gao 说:

                                          @terry 学文爷,把挨嘴把子当学费。
                                          疼,但不致命。平平安安活到八十。

                                          抄作业交卷:2×7900XTX 上把你的 3035 复现了一遍。单卡 6% 内对上,双卡要改你两行代码,另外顺手发现 sol 比 int8 还能再快一倍多。

                                          先认个错,我这台的数和你的不是一组:DiT 是 Minimax-h3_Singularity_ref2va_v2_Pruned_w4a8(12.55 GB,你的是 fl2va w4a8 11.7 GB)、TE 是 qwen3vl_32b_minimax_h3_nvfp4_awq(15.69 GB,你的 w4a8 是 26 GB)、LoRA 是 minimax_h3_dmd_ref2va_8step_turbo_pruned(你那个 turbo_v4_step600 在我们机器上是坏链接)、CPU 是 5950X 不是 E5-2696v4、两卡到 CPU 还是 x8。所以下面只比同档位的比值和你给的验收线。

                                          一、单卡:你的三档,我们都在 6% 内

                                          档 你的 我们
                                          832×480·124f·8 步 单卡 11.235 s/it 10.564(端到端 109.2 s)
                                          832×480·362f·8 步 单卡 53.7,显存 19.96 GB 50.78,20.01 GB
                                          1344×768·362f·2 步 单卡 257.9,显存 23.82 GB 251.90,23.84 GB

                                          (用的是你 kuzuryusen 仓库里那个 bench.py + run_tp.sh,只换了权重名和端口。)

                                          二、你 1050% 里最大的那层(F1),我们这台没有

                                          我们 venv 里是 torch 2.15.0+rocm7.14,/opt 里躺着 7.2.3 / 7.13.0 / 10.1 —— 按 F1 的说法这叫"看着就该坏"。但 S1 探针是健康的:

                                          路径 4096 8192 16384
                                          pytorch(SDPA) 13.2 85.3 1164.4
                                          kitchen int8 6.4 24.7 93.3
                                          kitchen sol 2.3 7.4 25.3
                                          basic(默认) 19.8 77.3 OOM(要 28.00 GiB)

                                          所以 F1 的正确用法是"用 S1 去证",不是看版本号猜 —— 这点你帖里已经写了,我只是补一个反例:版本不同源不等于内核坏。

                                          顺带一个建议:你那条 200 ms 的线,建议挪到 16384。 我们这台 SDPA 在 8192 只有 85 ms(过线),到 16384 是 1164 ms(×13.7,长度翻倍平方该 ×4)—— 8192 上是"假健康"。真实序列(1344×768·294f ≈ 30 万 token)比 16384 还远。

                                          三、双卡:p2p 只值 1%,真原因是 split_state_dict 取裸 key

                                          原样跑,三档全是负的:

                                          档 原样双卡 相对单卡 你的
                                          832×480·124f·8 11.95 s/it 0.88× 7.618(1.47×)
                                          832×480·362f·8 54.20 0.94× 31.9(1.68×)
                                          1344×768·362f·2 257.78 0.98× 112.3(2.30×)

                                          先按你的路子走了一遍 p2p:装 p2p_force、按你这台的真实 sysfs 拓扑生成 NCCL_TOPO_FILE(2e:00.0 → 2f:00.0/32:00.0)、重启后 isAllDirectP2p 1、通道 via P2P/IPC、你自己的 bootcheck 也 [OK] KFD 链路 2。只快 1%(11.99→11.95、54.20→53.59)。传输不是瓶颈。

                                          真原因在 comfyui-tp2/__init__.py 的 split_state_dict() 开头:

                                          qkv = sd.get("blocks.0.attn.qkv_proj.weight")     # 取不到 → return sd,静默、不切
                                          hd  = sd.get("blocks.0.attn.q_norm.weight")
                                          if qkv is None or hd is None:
                                              return sd
                                          

                                          我们这个 w4a8 检查点 1333 个 key 里 1332 个带 model.diffusion_model. 前缀,裸 key 0 个 → 每次都静默 return。于是两卡各算整个模型,每步 450 次 all_reduce / 15.1 GB;10.564 + 1.4 ≈ 11.95,一分不差。

                                          把取 key 改成允许 "" / model.diffusion_model. / diffusion_model. 三种前缀(就那两行),立刻听到:

                                          [tp2] rank0 state_dict split: heads 56->28, keys 1332
                                          
                                          档 切了之后 相对单卡 每卡显存
                                          832×480·124f·8 6.539 s/it,端到端 79.2 s 1.61× 23.74 GB
                                          1344×768·362f·2 131.66 s/it,端到端 370.4 s 1.91× 17.60 GB(−6.2)

                                          LoRA 那 208 个 shape 错也一起没了(模型切了,切过的 LoRA 就对上了)。

                                          但有个必须说清的:切了不等于单卡那一张。整帧 mean|Δ| 16.5/255(结构 14.7);参照是换 seed 重采 34.1、没切 54.8、同配置两次 0.00。全局统计一致(mean RGB 107/103/95 vs 110/103/94,std 66.8 vs 67.2)——不是坏图,但不是你验收表里的 max_abs_diff = 0。

                                          原因大概在格式:我们是打包 I8(qkv [21504,2688]、fc1 [28672,2688],头部没有 _quantization_metadata),你依赖的是 comfy_quant + codebook。打包 I8 按 K 对半切合不合法,得你判 —— 我只能给"快是真的"。

                                          四、彩蛋:sol_attn 比 int8 快,而且 1MP 单卡就够

                                          你 S1 表里 kitchen 只有 int8。但 attention.py 里还有 comfy_kitchen_sol(config 写 "attention": "comfy_kitchen_sol";节点下拉里没有,得自己 set_model_optimized_attention)。16k 上它是 int8 的 3.7×。

                                          搬进流水线(tau=1.0、seed 145、每档冷启动、其余开关不动、权重与上表相同):

                                          档 kitchen int8 sol s/it
                                          832×480·124f·8 单卡 10.53 / 108.2 s 8.09 / 87.2 s 1.30×
                                          832×480·124f·8 TP2 6.55 / 77.6 s 5.32 / 68.4 s 1.23×
                                          832×480·362f·8 单卡 50.78 / 455.6 s 28.96 / 280.5 s 1.75×
                                          1344×768·362f·2 单卡 250.58 / 596.8 s 105.00 / 312.5 s 2.39×
                                          1344×768·362f·2 TP2 132.40 / 367.6 s 60.47 / 226.3 s 2.19×

                                          三句话:

                                          1. 序列越长赢越多(1.2× → 2.4×),和你 S1 里 16k 那格的形态一致。
                                          2. 1MP 不用 TP2 了:单卡 sol 105.0 s/it,比 int8 双卡 132.4 还快,也接近你双卡的 112.3。代价是显存:0.4MP·362f 从 20.01 涨到 23.83(+3.8 GB),1MP 单卡仍装得下(23.83,没 OOM)。
                                          3. 输出约等于换一次 seed(30.5/255),是另一张同题图,不是坏图。

                                          五、想请你判两件事

                                          1. 打包 I8 按 K 对半切(qkv [21504,2688] → 每卡 [10752,2688])合不合法?如果不合法,我们那 1.91× 就只能当"能跑但别用"。
                                          2. sol 在你那套权重/环境上能不能也复现 2.4×?能的话,你 S4 的 112.3 大概还能再对半一次。

                                          代码我可以直接开 PR:split_state_dict 的后缀匹配 + 一个 18 行的 MiniMaxSOLAttention 节点(set_model_optimized_attention(partial(attention_comfy_kitchen_sol, tau=1.0))),要不要?

                                          xiongjie gaoX
                                          xiongjie gaoX
                                          xiongjie gao
                                          王侯将相
                                          编写于 最后由 编辑
                                          #51

                                          @Enigma 也就是你自己还把int8r换成了sol
                                          生成速度提升 1.99× / 4.17× (per-step)
                                          端到端 1.60–2.64×

                                          https://github.com/shawn86574-prog/x99-7900xtx-p2p
                                          https://github.com/shawn86574-prog/kuzuryusen

                                          1 条回复 最后回复
                                          1

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组