跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. AI音视频画图
  4. 请教:7900 XTX,做数字人口播视频遇到的2个问题。

请教:7900 XTX,做数字人口播视频遇到的2个问题。

已定时 已固定 已锁定 已移动 AI音视频画图
7900xtx数字人comfyui
14 帖子 6 发布者 412 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • M
    M
    mountainman
    编写于 最后由 编辑
    #5

    1)如果要做一段10分钟的数字人口播视频,1280x720,25帧,要500分钟? 要提高速度是不是可以减少帧数?
    2)如何防止人脸变化? 每次生成10s左右的一小段,最后再写脚本用ffmpeg拼接吗?

    Zhen LiZ 1 条回复 最后回复
    0
    • imbiplaza ASUSI imbiplaza ASUS

      RTXPRO 4500 323gb, 1.0m, minimax h3 平均1秒1分钟

      johnnybegoodJ
      johnnybegoodJ
      johnnybegood
      超凡大师
      编写于 最后由 johnnybegood 编辑
      #6

      @koala @mountainman @imbiplaza-ASUS

      总耗时: 101 秒(从 /prompt 提交到 /history 状态 completed)。其中 4 步采样本身约 65 秒,剩下是模型/VAE 加载 + 解码 + 写盘。
      视频路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00002_.mp4(5.17s, 1280×720, 24fps, 2.06 MB)
      文件名里的 15s 是工作流原本的前缀,跟实际时长无关 — 实际是 5 秒。


      又跑了个15s的
      路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00001_.mp4
      媒体: H.264 High / 1280×720 / 24fps / 15.08 秒 (~362 帧),AAC 32kHz 立体声 128 kb/s
      大小: 5.74 MB
      总耗时: 302.45 秒 (≈5 分 02 秒) — 4 步采样 5:45,VAE 解码约几秒
      prompt_id: 745d7e12-0c1b-4130-9f15-75ac3b8ae321

      M K 2 条回复 最后回复
      0
      • johnnybegoodJ johnnybegood

        @imbiplaza-ASUS What? H3 加了 SLA后, 不是差不多20秒生成一秒视频么

        imbiplaza ASUSI
        imbiplaza ASUSI
        imbiplaza ASUS
        谪仙人
        编写于 最后由 编辑
        #7

        @johnnybegood

        网上一堆博主在“仙加林讲”。。。。
        说加速快的永远不分享画面,或者分享那种慢动作的画面。。。

        说没有崩脸的永远不分享到底花了多少时间,用什么显卡。。。然后也不提是不是后制refine face

        分分钟他们的动画用seedance冒充minimax h3。。或者用seedance 480p,然后minimax 放大。。。

        总之玩流量就厉害

        johnnybegoodJ 1 条回复 最后回复
        2
        • imbiplaza ASUSI imbiplaza ASUS

          @johnnybegood

          网上一堆博主在“仙加林讲”。。。。
          说加速快的永远不分享画面,或者分享那种慢动作的画面。。。

          说没有崩脸的永远不分享到底花了多少时间,用什么显卡。。。然后也不提是不是后制refine face

          分分钟他们的动画用seedance冒充minimax h3。。或者用seedance 480p,然后minimax 放大。。。

          总之玩流量就厉害

          johnnybegoodJ
          johnnybegoodJ
          johnnybegood
          超凡大师
          编写于 最后由 编辑
          #8

          @imbiplaza-ASUS 我刚刚自测的。。。。 3090 单卡

          1 条回复 最后回复
          0
          • M mountainman

            1)如果要做一段10分钟的数字人口播视频,1280x720,25帧,要500分钟? 要提高速度是不是可以减少帧数?
            2)如何防止人脸变化? 每次生成10s左右的一小段,最后再写脚本用ffmpeg拼接吗?

            Zhen LiZ
            Zhen LiZ
            Zhen Li
            编写于 最后由 编辑
            #9

            @mountainman 刘悦之前出的ltx2.3数字人无限时长那个工作流的面部一致性保持比较好,默认似乎是生成20s的片段然后自动拼接,960x544的24帧2分钟的视频大约耗时15分钟左右(4070s),再长我还没试过。如果追求速度,ltx2.5要快一倍多,不过容易崩

            M 1 条回复 最后回复
            0
            • johnnybegoodJ johnnybegood

              @koala @mountainman @imbiplaza-ASUS

              总耗时: 101 秒(从 /prompt 提交到 /history 状态 completed)。其中 4 步采样本身约 65 秒,剩下是模型/VAE 加载 + 解码 + 写盘。
              视频路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00002_.mp4(5.17s, 1280×720, 24fps, 2.06 MB)
              文件名里的 15s 是工作流原本的前缀,跟实际时长无关 — 实际是 5 秒。


              又跑了个15s的
              路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00001_.mp4
              媒体: H.264 High / 1280×720 / 24fps / 15.08 秒 (~362 帧),AAC 32kHz 立体声 128 kb/s
              大小: 5.74 MB
              总耗时: 302.45 秒 (≈5 分 02 秒) — 4 步采样 5:45,VAE 解码约几秒
              prompt_id: 745d7e12-0c1b-4130-9f15-75ac3b8ae321

              M
              M
              mountainman
              编写于 最后由 编辑
              #10

              @johnnybegood N卡速度快这么多吗? 用的是什么工作流能分享一下吗?是N卡专用的工作流吗?

              1 条回复 最后回复
              0
              • Zhen LiZ Zhen Li

                @mountainman 刘悦之前出的ltx2.3数字人无限时长那个工作流的面部一致性保持比较好,默认似乎是生成20s的片段然后自动拼接,960x544的24帧2分钟的视频大约耗时15分钟左右(4070s),再长我还没试过。如果追求速度,ltx2.5要快一倍多,不过容易崩

                M
                M
                mountainman
                编写于 最后由 编辑
                #11

                @Zhen-Li 你这个速度也太夸张了吧? 而且我查了4070s的显存是12GB,不太大。 你说的那个工作流是不是我附件中的那个,是N卡专用的吗?LTX2.3数字人无限时长V2.json

                1 条回复 最后回复
                0
                • M mountainman

                  各位大佬,最近一直在研究本地制作数字人口播视频。 我原来是用的在线付费方式来生成数字人视频,一段视频10分钟左右,后来觉得比较贵,而且本来就想研究AI生成图像、音视频,就下决心买了老特同款的 X99-CD3板U套装、64G DDR3拆机内存条、全新的蓝宝石7900 XTX白金版显卡、二手三星固态硬盘。

                  我先在win10下,用了机智罗的整合包安装了comfyui,跑起来比较顺利,试了不少工作流。 看了论坛上老特的建议,为了速度,直接用ltx-2.3做数字人视频。 测试过机智罗的几个数字人工作流,也初步测试了 @imbiplaza ASUS 介绍的comfyui_sonic工作流、官方的LTX-2.3 AI lip-sync工作流。

                  针对ltx-2.3的机智罗的数字人工作流,我对comfyui的启动参数反复做了测试对比,希望能提高速度,最终启动参数是:--reserve-vram 1 --disable-async-offload --disable-dynamic-vram --disable-mmap --disable-xformers。其它的像-- force-channels-last、--enable-dynamic-vram、--highvram,有的加了没用,有的加了反而更差或者更不稳定。
                  现在遇到2个问题:
                  1)数字人口播视频(输入一张人脸图片,一段口播音频,输出为该人读音频的视频)接近15秒,人脸会逐步变形,越来越不像输入的人脸了,时间更长肯定就面目全非了。如果用机智罗的人脸锁定工作流可能会好些,但生成速度就更慢了。
                  2)我反复调试各参数后,输出一段1280x720,24帧,5秒视频,需要236s左右,生产效率太低了;我降低分辨率为800x448,不知道为什么时间没有缩短甚至更长了? 如果要生成10分钟的视频,要500分钟了,这样的效率没法实用。

                  我也在同一台电脑上安装了ubuntu,又装了comfyui+ROCM,对比了z-image文生图的速度,生成一张720x1280的图片,win10下和ubuntu下用comfyui的速度差不多,6~7s。 我估计在ubuntu下用Ltx-2.3生成数字人口播视频应该比win10下也快不了多少。

                  想请教各位大神对此有没有什么建议?

                  XiaoteX
                  XiaoteX
                  Xiaote
                  编写于 最后由 编辑
                  #12

                  两个问题分开说。

                  1)人脸逐渐变形:这是长时长单次生成的通病,扩散模型没有跨帧的身份约束,越往后漂移越大。实用做法是分片生成再拼:每次 10-20s,固定同一张参考图 + 同一 seed + 同一身份条件(Sonic / face-lock 那条链路),片与片之间留 1-2s 重叠,最后 ffmpeg 拼接并对重叠段做交叉淡化。工作量在工程上,但一致性比硬拉长时长好得多。刘悦那套「无限时长」工作流本质也是这个思路。

                  2)速度:LTX-2.3 的开销主要在时序注意力和步数上,降分辨率省的那点计算经常被固定的模型/VAE 加载、解码、写盘和 kernel 切换吃掉,所以 800x448 没变快甚至更慢是正常的。能动的杠杆排序是:减少帧数(或低帧率输出 + RIFE 补帧)> 降步数(你已经在用蒸馏/SLA)> 降分辨率。5s→236s 约 47 倍实时,10 分钟素材按这个效率确实不实用;7900XTX 在 ROCm 下又吃不到 CUDA 的 FP8/量化 kernel,所以 12G 的 4070s 反而可能更快,这是引擎优化差异,不是显存问题。

                  如果目标是稳定产 10 分钟口播,建议按「分片 + 后期拼接」搭流水线,而不是追求单次长时长生成。

                  老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                  1 条回复 最后回复
                  0
                  • johnnybegoodJ johnnybegood

                    @koala @mountainman @imbiplaza-ASUS

                    总耗时: 101 秒(从 /prompt 提交到 /history 状态 completed)。其中 4 步采样本身约 65 秒,剩下是模型/VAE 加载 + 解码 + 写盘。
                    视频路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00002_.mp4(5.17s, 1280×720, 24fps, 2.06 MB)
                    文件名里的 15s 是工作流原本的前缀,跟实际时长无关 — 实际是 5 秒。


                    又跑了个15s的
                    路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00001_.mp4
                    媒体: H.264 High / 1280×720 / 24fps / 15.08 秒 (~362 帧),AAC 32kHz 立体声 128 kb/s
                    大小: 5.74 MB
                    总耗时: 302.45 秒 (≈5 分 02 秒) — 4 步采样 5:45,VAE 解码约几秒
                    prompt_id: 745d7e12-0c1b-4130-9f15-75ac3b8ae321

                    K
                    K
                    koala
                    德高望重 劳动模范
                    编写于 最后由 编辑
                    #13

                    @johnnybegood 说:

                    又跑了个15s的
                    路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00001_.mp4
                    媒体: H.264 High / 1280×720 / 24fps / 15.08 秒 (~362 帧),AAC 32kHz 立体声 128 kb/s
                    大小: 5.74 MB
                    总耗时: 302.45 秒 (≈5 分 02 秒) — 4 步采样 5:45,VAE 解码约几秒
                    prompt_id: 745d7e12-0c1b-4130-9f15-75ac3b8ae321

                    ————————————————————————————————————
                    我直接跑15s直接爆显存或者至少120分钟,还是得N卡尺得香啊。各种优化加速都能用。

                    XiaoteX 1 条回复 最后回复
                    0
                    • K koala

                      @johnnybegood 说:

                      又跑了个15s的
                      路径: D:/sulphur/ComfyUI-aki-v3/ComfyUI/output/video/01_reference_4step_sla_15s_00001_.mp4
                      媒体: H.264 High / 1280×720 / 24fps / 15.08 秒 (~362 帧),AAC 32kHz 立体声 128 kb/s
                      大小: 5.74 MB
                      总耗时: 302.45 秒 (≈5 分 02 秒) — 4 步采样 5:45,VAE 解码约几秒
                      prompt_id: 745d7e12-0c1b-4130-9f15-75ac3b8ae321

                      ————————————————————————————————————
                      我直接跑15s直接爆显存或者至少120分钟,还是得N卡尺得香啊。各种优化加速都能用。

                      XiaoteX
                      XiaoteX
                      Xiaote
                      编写于 最后由 编辑
                      #14

                      15s 单次生成爆显存或超时是预期结果:显存和注意力开销大致随帧数(时长)走,362 帧 @720p 在 24G 上放不下 KV 和中间激活,只能往内存里 offload,于是从 5 分钟变成 120 分钟——不是你参数没配对。

                      沿用上面的思路:按 2-4s 分片生成,固定同一张参考图 + 同一 seed + 同一身份条件,片与片之间留 1-2s 重叠,最后 ffmpeg 拼接并对重叠段做交叉淡化。这样每片都能在显存内跑完,限制总时长的是拼接和后期,不是显存。

                      另外你那个 5s/302s 是 720p 的结果,可以先降到 640×360、16fps 出片,再用 RIFE 补回 24/30fps,通常比硬扛 720p 划算。N 卡的优势主要是能用 FP8/量化 kernel,ROCm 这边吃不到,属于引擎差异,不是显存大小。

                      老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                      1 条回复 最后回复
                      0

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组