【交作业】双7900XTX 跑 MiniMax-H3组TP2 到底值不值?
-
-
,
T terry 固定了此主题
-
-
-
-
-
-
-
双7900XTX 跑 MiniMax-H3 是不是完胜 一张4080S 32GB呢?就是只跑Comfyui视频而言。我最近在考虑买显卡,方案没有定。想找个性价比,同时也省心的方案。
-
如果只切线性层、attention 仍是两卡各算全量,我们这边预期是 8.13(attention)+ 10.44/2(线性层一半)≈ 13.3 s/步,和你的 13.35 几乎重合。 所以第一件要确认的事:attention 的 head 是不是真的切了——日志里应该看到 heads=28 (56 的一半);如果还是 56,加速比就会正好卡在 1.6× 这个位置。
三处会直接吃掉速度/显存的地方
attention 后端:你现在是 PyTorch SDPA。我们实测同一配置 1 步:SDPA 495 s、CK 97 s(5.08×), 显存 32.3 → 18.0 G/卡。启动参数加 --use-ck-attention 即可(需要 comfy-kitchen)。
文本编码器在 CPU:你端到端 312 s,采样 8×21.16≈169 s,中间 ~140 s 基本是 CPU 编码。 编码器上 GPU 能省掉大半(24 G 卡装不下 26 G 的 int8 编码器,换 int4 版约 14 G 就能装)。
VAE 在 GPU 0:所以你的两卡峰值是 18.91 / 13.07,不对称。把 VAE 挪到不跑 DiT 的位置, 采样期应该两边都落到 13 G 左右。最根本的就是显存占用不对称,这个很明显
-
双7900XTX 跑 MiniMax-H3 是不是完胜 一张4080S 32GB呢?就是只跑Comfyui视频而言。我最近在考虑买显卡,方案没有定。想找个性价比,同时也省心的方案。
@Michael-ZHANG 跑1344乘768分辨率,4080s16g的都够,而且速度跟32g的没区别。大显存主要是跑更高分辨率才有优势。也就是说,你只需要一张4080s16g就能出画质在线的片子。你问我为什么知道,因为我就是用的4080s16g,速度杠杠的,你再搞个黑科技工作流,那速度更快了。哈哈
-
双7900XTX 跑 MiniMax-H3 是不是完胜 一张4080S 32GB呢?就是只跑Comfyui视频而言。我最近在考虑买显卡,方案没有定。想找个性价比,同时也省心的方案。
@Michael-ZHANG 一张4080s16g出1344乘768分辨率的视频,比双7900xtx都快,哈哈,你说气不气。
-
那看来我考虑N卡了,之前考虑的是A卡pro9700.
-
@Michael-ZHANG 一张4080s16g出1344乘768分辨率的视频,比双7900xtx都快,哈哈,你说气不气。
-
@Werther-Wang 气人,我还在测试,看能不能组成双卡后,像老特说的那样推高分辨率和时长,这个测试比较耗时间
@懒人烘培 辛苦楼主, 登楼主数据分享。
-
-
@terry
刚刚完成实测表明,双 7900 XTX 组 TP2 后,视频生成的显存承载能力有所提升,可以完成单张 24GB 显卡无法承载的任务。在相同模型和精度、采样时模型权重全部驻留显卡的条件下,测试结果如下:
分辨率 单卡 24GB 双卡 TP2 832×480 8 秒通过,10.13 秒 OOM 20.04 秒通过,25 秒 OOM 1280×736(约 720p) 5.17 秒 OOM 8 秒通过,10.13 秒 OOM 1920×1088(约 1080p) 3.04 秒 OOM 3.04 秒通过,3.75 秒 OOM 表中列出的是已测试的通过和失败档位,尚未逐帧搜索容量极限。容量探测主要使用 1~2 步采样;此外,实际完成了 720p、5.17 秒、8 步的视频,以及 480p、20.04 秒、2 步的视频。
需要明确的是,双卡 TP2 不能当作一张具有 48GB 连续显存的显卡使用。两张卡的显存相互独立。TP2 会将部分权重和计算分配到两张卡,但仍受单卡显存限制,因此两卡显存总量不能直接视为单卡可用容量。
在 1080p 测试中,TP2 的 **73 帧(3.04 秒)**采样通过,两卡峰值占用合计约 42.83 GiB;**90 帧(3.75 秒)**时 OOM,占用合计约 45.52 GiB。另一次 107 帧测试也发生 OOM,占用合计约 47.34 GiB。失败时,单卡仍无法满足额外的连续显存申请,另一张卡的空余空间无法直接补上。因此,不能把接近 48 GiB 的两卡总占用理解为可用的 48 GiB 单卡显存。
另一个 480p 长视频任务的单卡张量显存峰值估算约为 27.55 GiB。估算方法在可运行的单卡任务上校准,最大误差约 0.23 GiB;该数值是特定工作负载的估算,不代表双卡 TP2 有固定的“等效显存容量”,也不能用于推算 1080p 的可生成时长。
结论:双卡 TP2 确实扩大了这套模型的显存承载范围,但不等同于一张 48GB 显卡。实际能生成的分辨率和时长取决于具体工作负载;本次 1080p 测试中,73 帧通过,90 帧已 OOM。
-

-
@Werther-Wang 气人,我还在测试,看能不能组成双卡后,像老特说的那样推高分辨率和时长,这个测试比较耗时间
-
-
@Michael-ZHANG 跑1344乘768分辨率,4080s16g的都够,而且速度跟32g的没区别。大显存主要是跑更高分辨率才有优势。也就是说,你只需要一张4080s16g就能出画质在线的片子。你问我为什么知道,因为我就是用的4080s16g,速度杠杠的,你再搞个黑科技工作流,那速度更快了。哈哈
版主审定:本帖设为精华,作者 +6 积分奖励,希望再接再厉!