7900XTX Minimax H3：Cappy《Colors Song》制作过程

原本是要挑战试试分镜做故事影片的，奈何到了周末就不想努力，就和好基友玩了两天三角洲 ，就水了多一期视频接着做歌曲类型，这次就更舒服了，经过前两次的折腾，几乎可以说这次真的只做了去suno生歌曲选一首，然后其他全权都交给agent去搞了。(中途就2-3个画面我说不行，让agent多抽了几次卡）

这篇记录从策划到上传的完整流程。

分享我使用的工作流供测试 ️ （有md和json）
工作流分享

成品

• 横版 MV：1080p，约 3 分钟（含频道片头和 15 秒片尾），附 CC 英文字幕
• 3 支竖版 Shorts：Red·Orange·Yellow / Green·Blue·Purple（含副歌）/ Pink·Brown·Black·White
• 封面：颜色场景拼贴 + 黄色大字 SONG

工具链

画面全部在本机生成，没有用在线视频服务。

1. 策划：10 个颜色，每个 4 小节

上一支 Phonics 每个字母只有 2 小节，节奏偏赶。这次每个颜色给 4 小节（约 9.6 秒），更适合低龄观众：

• 第 1–2 小节：Cappy 喊出颜色，童声合唱回应，舞台就是这个颜色。
• 第 3–4 小节：唱出这个颜色的东西，Cappy 和它互动。

挑东西有两个原则：

1. 模型容易画对：简单、常见、轮廓清楚的东西。
2. 道具贴着 Cappy、放在画面中间：之后要裁竖版 Shorts，道具离得太远会被裁掉。

结构是：开场 → Red 到 Blue → 副歌 → Purple 到 White → 副歌 → 结尾。教室场景负责开场、副歌和结尾，颜色舞台负责每个颜色。

2. Suno 做歌

风格提示词沿用前两支，让 Cappy 的声音保持一致。重点是这几句：

• 写实测的 BPM。上一支实测 99，我写 110，Suno 也不会照做。
• 写明 "every color gets four full bars"，否则后半首容易唱急。
• 女声领唱加童声合唱一问一答："Red, red! (Red, red!)"。

歌词句式是固定的，小朋友容易跟唱：

Red, red! (Red, red!)
What is red? (What is red?)
A big red balloon! (Balloon!)
Red, red, red! (Red!)

3. 分析歌曲、定切点

用 Whisper 拿到每个词的时间，用 librosa 测拍子。这首实测约 99.4 BPM，一拍 0.604 秒，一小节约 2.41 秒。

切点规则：

• 切在小节线上；
• 这个颜色的最后一个词要在切点之前唱完。

Whisper 的词开始时间常常偏早 0.1–0.9 秒，所以最后以拍子网格为准，Whisper 只用来核对。

最后整首切成 16 段：开场、10 个颜色、4 段副歌、结尾。

4. 生成：两种场景，两种做法

模型是 MiniMax-H3，在本地 ComfyUI 里跑，8 步加速 LoRA，分辨率 1024×576，最后再放大。每段把这一段的原曲音频锚在第 0 帧，引导口型和动作节奏。

教室段：首尾帧锁定母版

开场、副歌、结尾都在同一间教室。AI 视频最大的问题是每段的背景和角色位置都不一样，接起来会跳。

我的做法是准备一张教室母版图（这次调亮了，比 Phonics 那张更明亮），把它同时锁在每段的第一帧和最后一帧。这样每段都从同一个画面开始、回到同一个画面结束，段和段之间几乎看不出接缝。

教室段不能再接角色参考图，否则模型会在片中插一张白底的角色设定图。

颜色舞台段：三张参考图

每个颜色是一个独立舞台，接 Cappy 的正面、45°、侧面三张参考图，保证长相一致。

5. 检查每小段视频生成效果

每批生成完，让agent主动把每段截 7 帧拼成一行的表，快速看一遍：（准确点的话还是推荐点开视频自己看）

• 长相有没有走样；
• 有没有插进白底参考图；
• 道具有没有出现、有没有变成两个；
• 教室段最后有没有回到站姿。

模型有个习惯：道具和动作通常在片段后 40% 才出现。所以提示词要写"从第一帧起道具就在 Cappy 旁边"。Red 段后来就改成从第一帧开始，Cappy 就只露出头，埋在一大堆红气球里。

每段耗时

• 只测了一次，数字里可能包含切换模型、排队的时间，只能当作大概参考。
• 1.0mp也有试着生成，但是真的太久了，中途就直接截停任务换跑0.6mp了。

换算成成片时长：0.59 MP 下，每 1 秒视频大约要 45–60 秒生成。片段越长，每秒越慢。

整首歌的时间

6. 拼接

剪辑全部用 Python 脚本控制 ffmpeg：

• 声音换回原曲：模型生成的声音全部丢掉，每段换回 Suno 原曲的对应片段。
• 转场：
  • 教室 → 舞台：镜头推进黑板，黑板变成下一个颜色，再打开到舞台；
  • 舞台 → 教室：舞台淡成黑板绿，再从黑板里拉出来；
  • 舞台 → 舞台：0.2 秒白闪。
• 颜色卡：左上角弹出这个颜色的色块和单词。
• 单词弹字：唱到 "A big red balloon" 时，底部弹出 "Red balloon"，颜色那个词用对应颜色。
• 副歌歌词：用粉笔字体写在黑板上，唱到哪句出现哪句。
• 片头片尾：开头接频道片头；片尾停在最后一帧慢慢推近 15 秒，黑板写 "Watch next!"，留给 YouTube 的片尾推荐卡片。

拼接要用 ffmpeg 的 concat filter。用 concat demuxer 直接复制流会丢帧，音画会错位。

7. 放大到 1080p

三种方法都实测过：

方法	整首耗时	效果
realesr-animevideov3	约 5 分钟	边缘干净，毛发变成光滑的卡通感
RealESRGAN_x2plus	约 2.5 小时	保留毛发纹理
SeedVR2 3B	30–40 小时	细节最多，但补出写实毛发，而且在 AMD 卡上太慢

卡通风格的片子，最终我选择 animevideov3 又快又好看。（主要是图快 ）

范例️

8. 竖版 Shorts

横版直接裁成 9:16 太窄，火烈鸟和雪人会被切掉。最后的版式是：

• 中间是从横版里裁出的正方形窗口，放大到 1080×1080；
• 上下用同一画面的虚化放大版填满；或者是做点小设计的竖版背景图
• 上方放频道 logo，下方放跟唱歌词。

9. 封面

封面是颜色场景拼贴，中间放大大的 Cappy，加上彩虹色的 COLORS 和黄色的 SONG，也是用 PIL 脚本排版的。

踩坑清单

1. 其实没什么坑，就是你发现什么不对味就直接和agent说，让它自己去折腾。

欢迎各位大佬和群友们拍砖！🤩