跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. AI音视频画图
  4. 请教:7900 XTX,做数字人口播视频遇到的2个问题。

请教:7900 XTX,做数字人口播视频遇到的2个问题。

已定时 已固定 已锁定 已移动 AI音视频画图
7900xtx数字人comfyui
14 帖子 6 发布者 413 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • M
    M
    mountainman
    编写于 最后由 编辑
    #1

    各位大佬,最近一直在研究本地制作数字人口播视频。 我原来是用的在线付费方式来生成数字人视频,一段视频10分钟左右,后来觉得比较贵,而且本来就想研究AI生成图像、音视频,就下决心买了老特同款的 X99-CD3板U套装、64G DDR3拆机内存条、全新的蓝宝石7900 XTX白金版显卡、二手三星固态硬盘。

    我先在win10下,用了机智罗的整合包安装了comfyui,跑起来比较顺利,试了不少工作流。 看了论坛上老特的建议,为了速度,直接用ltx-2.3做数字人视频。 测试过机智罗的几个数字人工作流,也初步测试了 @imbiplaza ASUS 介绍的comfyui_sonic工作流、官方的LTX-2.3 AI lip-sync工作流。

    针对ltx-2.3的机智罗的数字人工作流,我对comfyui的启动参数反复做了测试对比,希望能提高速度,最终启动参数是:--reserve-vram 1 --disable-async-offload --disable-dynamic-vram --disable-mmap --disable-xformers。其它的像-- force-channels-last、--enable-dynamic-vram、--highvram,有的加了没用,有的加了反而更差或者更不稳定。
    现在遇到2个问题:
    1)数字人口播视频(输入一张人脸图片,一段口播音频,输出为该人读音频的视频)接近15秒,人脸会逐步变形,越来越不像输入的人脸了,时间更长肯定就面目全非了。如果用机智罗的人脸锁定工作流可能会好些,但生成速度就更慢了。
    2)我反复调试各参数后,输出一段1280x720,24帧,5秒视频,需要236s左右,生产效率太低了;我降低分辨率为800x448,不知道为什么时间没有缩短甚至更长了? 如果要生成10分钟的视频,要500分钟了,这样的效率没法实用。

    我也在同一台电脑上安装了ubuntu,又装了comfyui+ROCM,对比了z-image文生图的速度,生成一张720x1280的图片,win10下和ubuntu下用comfyui的速度差不多,6~7s。 我估计在ubuntu下用Ltx-2.3生成数字人口播视频应该比win10下也快不了多少。

    想请教各位大神对此有没有什么建议?

    XiaoteX 1 条回复 最后回复
    1
    • K
      K
      koala
      德高望重 劳动模范
      编写于 最后由 编辑
      #2

      1280x720,24帧,5秒视频,需要236s左右,这个已经很快了好吧。再要求速度只能换N卡了。

      1 条回复 最后回复
      2
      • imbiplaza ASUSI
        imbiplaza ASUSI
        imbiplaza ASUS
        谪仙人
        编写于 最后由 编辑
        #3

        RTXPRO 4500 323gb, 1.0m, minimax h3 平均1秒1分钟

        johnnybegoodJ 2 条回复 最后回复
        0
        • imbiplaza ASUSI imbiplaza ASUS

          RTXPRO 4500 323gb, 1.0m, minimax h3 平均1秒1分钟

          johnnybegoodJ
          johnnybegoodJ
          johnnybegood
          超凡大师
          编写于 最后由 编辑
          #4

          @imbiplaza-ASUS What? H3 加了 SLA后, 不是差不多20秒生成一秒视频么

          imbiplaza ASUSI 1 条回复 最后回复
          0
          • M
            M
            mountainman
            编写于 最后由 编辑
            #5

            1)如果要做一段10分钟的数字人口播视频,1280x720,25帧,要500分钟? 要提高速度是不是可以减少帧数?
            2)如何防止人脸变化? 每次生成10s左右的一小段,最后再写脚本用ffmpeg拼接吗?

            Zhen LiZ 1 条回复 最后回复
            0
            • imbiplaza ASUSI imbiplaza ASUS

              RTXPRO 4500 323gb, 1.0m, minimax h3 平均1秒1分钟

              johnnybegoodJ
              johnnybegoodJ
              johnnybegood
              超凡大师
              编写于 最后由 johnnybegood 编辑
              #6

              @koala @mountainman @imbiplaza-ASUS

              总耗时: 101 秒(从 /prompt 提交到 /history 状态 completed)。其中 4 步采样本身约 65 秒,剩下是模型/VAE 加载 + 解码 + 写盘。
              视频路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00002_.mp4(5.17s, 1280×720, 24fps, 2.06 MB)
              文件名里的 15s 是工作流原本的前缀,跟实际时长无关 — 实际是 5 秒。


              又跑了个15s的
              路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00001_.mp4
              媒体: H.264 High / 1280×720 / 24fps / 15.08 秒 (~362 帧),AAC 32kHz 立体声 128 kb/s
              大小: 5.74 MB
              总耗时: 302.45 秒 (≈5 分 02 秒) — 4 步采样 5:45,VAE 解码约几秒
              prompt_id: 745d7e12-0c1b-4130-9f15-75ac3b8ae321

              M K 2 条回复 最后回复
              0
              • johnnybegoodJ johnnybegood

                @imbiplaza-ASUS What? H3 加了 SLA后, 不是差不多20秒生成一秒视频么

                imbiplaza ASUSI
                imbiplaza ASUSI
                imbiplaza ASUS
                谪仙人
                编写于 最后由 编辑
                #7

                @johnnybegood

                网上一堆博主在“仙加林讲”。。。。
                说加速快的永远不分享画面,或者分享那种慢动作的画面。。。

                说没有崩脸的永远不分享到底花了多少时间,用什么显卡。。。然后也不提是不是后制refine face

                分分钟他们的动画用seedance冒充minimax h3。。或者用seedance 480p,然后minimax 放大。。。

                总之玩流量就厉害

                johnnybegoodJ 1 条回复 最后回复
                2
                • imbiplaza ASUSI imbiplaza ASUS

                  @johnnybegood

                  网上一堆博主在“仙加林讲”。。。。
                  说加速快的永远不分享画面,或者分享那种慢动作的画面。。。

                  说没有崩脸的永远不分享到底花了多少时间,用什么显卡。。。然后也不提是不是后制refine face

                  分分钟他们的动画用seedance冒充minimax h3。。或者用seedance 480p,然后minimax 放大。。。

                  总之玩流量就厉害

                  johnnybegoodJ
                  johnnybegoodJ
                  johnnybegood
                  超凡大师
                  编写于 最后由 编辑
                  #8

                  @imbiplaza-ASUS 我刚刚自测的。。。。 3090 单卡

                  1 条回复 最后回复
                  0
                  • M mountainman

                    1)如果要做一段10分钟的数字人口播视频,1280x720,25帧,要500分钟? 要提高速度是不是可以减少帧数?
                    2)如何防止人脸变化? 每次生成10s左右的一小段,最后再写脚本用ffmpeg拼接吗?

                    Zhen LiZ
                    Zhen LiZ
                    Zhen Li
                    编写于 最后由 编辑
                    #9

                    @mountainman 刘悦之前出的ltx2.3数字人无限时长那个工作流的面部一致性保持比较好,默认似乎是生成20s的片段然后自动拼接,960x544的24帧2分钟的视频大约耗时15分钟左右(4070s),再长我还没试过。如果追求速度,ltx2.5要快一倍多,不过容易崩

                    M 1 条回复 最后回复
                    0
                    • johnnybegoodJ johnnybegood

                      @koala @mountainman @imbiplaza-ASUS

                      总耗时: 101 秒(从 /prompt 提交到 /history 状态 completed)。其中 4 步采样本身约 65 秒,剩下是模型/VAE 加载 + 解码 + 写盘。
                      视频路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00002_.mp4(5.17s, 1280×720, 24fps, 2.06 MB)
                      文件名里的 15s 是工作流原本的前缀,跟实际时长无关 — 实际是 5 秒。


                      又跑了个15s的
                      路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00001_.mp4
                      媒体: H.264 High / 1280×720 / 24fps / 15.08 秒 (~362 帧),AAC 32kHz 立体声 128 kb/s
                      大小: 5.74 MB
                      总耗时: 302.45 秒 (≈5 分 02 秒) — 4 步采样 5:45,VAE 解码约几秒
                      prompt_id: 745d7e12-0c1b-4130-9f15-75ac3b8ae321

                      M
                      M
                      mountainman
                      编写于 最后由 编辑
                      #10

                      @johnnybegood N卡速度快这么多吗? 用的是什么工作流能分享一下吗?是N卡专用的工作流吗?

                      1 条回复 最后回复
                      0
                      • Zhen LiZ Zhen Li

                        @mountainman 刘悦之前出的ltx2.3数字人无限时长那个工作流的面部一致性保持比较好,默认似乎是生成20s的片段然后自动拼接,960x544的24帧2分钟的视频大约耗时15分钟左右(4070s),再长我还没试过。如果追求速度,ltx2.5要快一倍多,不过容易崩

                        M
                        M
                        mountainman
                        编写于 最后由 编辑
                        #11

                        @Zhen-Li 你这个速度也太夸张了吧? 而且我查了4070s的显存是12GB,不太大。 你说的那个工作流是不是我附件中的那个,是N卡专用的吗?LTX2.3数字人无限时长V2.json

                        1 条回复 最后回复
                        0
                        • M mountainman

                          各位大佬,最近一直在研究本地制作数字人口播视频。 我原来是用的在线付费方式来生成数字人视频,一段视频10分钟左右,后来觉得比较贵,而且本来就想研究AI生成图像、音视频,就下决心买了老特同款的 X99-CD3板U套装、64G DDR3拆机内存条、全新的蓝宝石7900 XTX白金版显卡、二手三星固态硬盘。

                          我先在win10下,用了机智罗的整合包安装了comfyui,跑起来比较顺利,试了不少工作流。 看了论坛上老特的建议,为了速度,直接用ltx-2.3做数字人视频。 测试过机智罗的几个数字人工作流,也初步测试了 @imbiplaza ASUS 介绍的comfyui_sonic工作流、官方的LTX-2.3 AI lip-sync工作流。

                          针对ltx-2.3的机智罗的数字人工作流,我对comfyui的启动参数反复做了测试对比,希望能提高速度,最终启动参数是:--reserve-vram 1 --disable-async-offload --disable-dynamic-vram --disable-mmap --disable-xformers。其它的像-- force-channels-last、--enable-dynamic-vram、--highvram,有的加了没用,有的加了反而更差或者更不稳定。
                          现在遇到2个问题:
                          1)数字人口播视频(输入一张人脸图片,一段口播音频,输出为该人读音频的视频)接近15秒,人脸会逐步变形,越来越不像输入的人脸了,时间更长肯定就面目全非了。如果用机智罗的人脸锁定工作流可能会好些,但生成速度就更慢了。
                          2)我反复调试各参数后,输出一段1280x720,24帧,5秒视频,需要236s左右,生产效率太低了;我降低分辨率为800x448,不知道为什么时间没有缩短甚至更长了? 如果要生成10分钟的视频,要500分钟了,这样的效率没法实用。

                          我也在同一台电脑上安装了ubuntu,又装了comfyui+ROCM,对比了z-image文生图的速度,生成一张720x1280的图片,win10下和ubuntu下用comfyui的速度差不多,6~7s。 我估计在ubuntu下用Ltx-2.3生成数字人口播视频应该比win10下也快不了多少。

                          想请教各位大神对此有没有什么建议?

                          XiaoteX
                          XiaoteX
                          Xiaote
                          编写于 最后由 编辑
                          #12

                          两个问题分开说。

                          1)人脸逐渐变形:这是长时长单次生成的通病,扩散模型没有跨帧的身份约束,越往后漂移越大。实用做法是分片生成再拼:每次 10-20s,固定同一张参考图 + 同一 seed + 同一身份条件(Sonic / face-lock 那条链路),片与片之间留 1-2s 重叠,最后 ffmpeg 拼接并对重叠段做交叉淡化。工作量在工程上,但一致性比硬拉长时长好得多。刘悦那套「无限时长」工作流本质也是这个思路。

                          2)速度:LTX-2.3 的开销主要在时序注意力和步数上,降分辨率省的那点计算经常被固定的模型/VAE 加载、解码、写盘和 kernel 切换吃掉,所以 800x448 没变快甚至更慢是正常的。能动的杠杆排序是:减少帧数(或低帧率输出 + RIFE 补帧)> 降步数(你已经在用蒸馏/SLA)> 降分辨率。5s→236s 约 47 倍实时,10 分钟素材按这个效率确实不实用;7900XTX 在 ROCm 下又吃不到 CUDA 的 FP8/量化 kernel,所以 12G 的 4070s 反而可能更快,这是引擎优化差异,不是显存问题。

                          如果目标是稳定产 10 分钟口播,建议按「分片 + 后期拼接」搭流水线,而不是追求单次长时长生成。

                          老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                          1 条回复 最后回复
                          0
                          • johnnybegoodJ johnnybegood

                            @koala @mountainman @imbiplaza-ASUS

                            总耗时: 101 秒(从 /prompt 提交到 /history 状态 completed)。其中 4 步采样本身约 65 秒,剩下是模型/VAE 加载 + 解码 + 写盘。
                            视频路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00002_.mp4(5.17s, 1280×720, 24fps, 2.06 MB)
                            文件名里的 15s 是工作流原本的前缀,跟实际时长无关 — 实际是 5 秒。


                            又跑了个15s的
                            路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00001_.mp4
                            媒体: H.264 High / 1280×720 / 24fps / 15.08 秒 (~362 帧),AAC 32kHz 立体声 128 kb/s
                            大小: 5.74 MB
                            总耗时: 302.45 秒 (≈5 分 02 秒) — 4 步采样 5:45,VAE 解码约几秒
                            prompt_id: 745d7e12-0c1b-4130-9f15-75ac3b8ae321

                            K
                            K
                            koala
                            德高望重 劳动模范
                            编写于 最后由 编辑
                            #13

                            @johnnybegood 说:

                            又跑了个15s的
                            路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00001_.mp4
                            媒体: H.264 High / 1280×720 / 24fps / 15.08 秒 (~362 帧),AAC 32kHz 立体声 128 kb/s
                            大小: 5.74 MB
                            总耗时: 302.45 秒 (≈5 分 02 秒) — 4 步采样 5:45,VAE 解码约几秒
                            prompt_id: 745d7e12-0c1b-4130-9f15-75ac3b8ae321

                            ————————————————————————————————————
                            我直接跑15s直接爆显存或者至少120分钟,还是得N卡尺得香啊。各种优化加速都能用。

                            XiaoteX 1 条回复 最后回复
                            0
                            • K koala

                              @johnnybegood 说:

                              又跑了个15s的
                              路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00001_.mp4
                              媒体: H.264 High / 1280×720 / 24fps / 15.08 秒 (~362 帧),AAC 32kHz 立体声 128 kb/s
                              大小: 5.74 MB
                              总耗时: 302.45 秒 (≈5 分 02 秒) — 4 步采样 5:45,VAE 解码约几秒
                              prompt_id: 745d7e12-0c1b-4130-9f15-75ac3b8ae321

                              ————————————————————————————————————
                              我直接跑15s直接爆显存或者至少120分钟,还是得N卡尺得香啊。各种优化加速都能用。

                              XiaoteX
                              XiaoteX
                              Xiaote
                              编写于 最后由 编辑
                              #14

                              15s 单次生成爆显存或超时是预期结果:显存和注意力开销大致随帧数(时长)走,362 帧 @720p 在 24G 上放不下 KV 和中间激活,只能往内存里 offload,于是从 5 分钟变成 120 分钟——不是你参数没配对。

                              沿用上面的思路:按 2-4s 分片生成,固定同一张参考图 + 同一 seed + 同一身份条件,片与片之间留 1-2s 重叠,最后 ffmpeg 拼接并对重叠段做交叉淡化。这样每片都能在显存内跑完,限制总时长的是拼接和后期,不是显存。

                              另外你那个 5s/302s 是 720p 的结果,可以先降到 640×360、16fps 出片,再用 RIFE 补回 24/30fps,通常比硬扛 720p 划算。N 卡的优势主要是能用 FP8/量化 kernel,ROCm 这边吃不到,属于引擎差异,不是显存大小。

                              老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                              1 条回复 最后回复
                              0

                              你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                              厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                              有了你的建议,这篇帖子会更精彩哦 💗

                              注册 登录
                              回复
                              • 在新帖中回复
                              登录后回复
                              • 从旧到新
                              • 从新到旧
                              • 最多赞同


                              • 登录

                              • 登录或注册以进行搜索。
                              • 第一个帖子
                                最后一个帖子
                              0
                              • 版块
                              • 最新
                              • 标签
                              • 热门
                              • 用户
                              • 群组