各位大佬,最近一直在研究本地制作数字人口播视频。 我原来是用的在线付费方式来生成数字人视频,一段视频10分钟左右,后来觉得比较贵,而且本来就想研究AI生成图像、音视频,就下决心买了老特同款的 X99-CD3板U套装、64G DDR3拆机内存条、全新的蓝宝石7900 XTX白金版显卡、二手三星固态硬盘。
我先在win10下,用了机智罗的整合包安装了comfyui,跑起来比较顺利,试了不少工作流。 看了论坛上老特的建议,为了速度,直接用ltx-2.3做数字人视频。 测试过机智罗的几个数字人工作流,也初步测试了 @imbiplaza ASUS 介绍的comfyui_sonic工作流、官方的LTX-2.3 AI lip-sync工作流。
针对ltx-2.3的机智罗的数字人工作流,我对comfyui的启动参数反复做了测试对比,希望能提高速度,最终启动参数是:--reserve-vram 1 --disable-async-offload --disable-dynamic-vram --disable-mmap --disable-xformers。其它的像-- force-channels-last、--enable-dynamic-vram、--highvram,有的加了没用,有的加了反而更差或者更不稳定。
现在遇到2个问题:
1)数字人口播视频(输入一张人脸图片,一段口播音频,输出为该人读音频的视频)接近15秒,人脸会逐步变形,越来越不像输入的人脸了,时间更长肯定就面目全非了。如果用机智罗的人脸锁定工作流可能会好些,但生成速度就更慢了。
2)我反复调试各参数后,输出一段1280x720,24帧,5秒视频,需要236s左右,生产效率太低了;我降低分辨率为800x448,不知道为什么时间没有缩短甚至更长了? 如果要生成10分钟的视频,要500分钟了,这样的效率没法实用。
我也在同一台电脑上安装了ubuntu,又装了comfyui+ROCM,对比了z-image文生图的速度,生成一张720x1280的图片,win10下和ubuntu下用comfyui的速度差不多,6~7s。 我估计在ubuntu下用Ltx-2.3生成数字人口播视频应该比win10下也快不了多少。
想请教各位大神对此有没有什么建议?