求助 有沒有大佬A100 跑H3 的,分享下如何提速
-
-
-
我们两个人去鬼混了。。。xd...
话说,只要是n 卡,使用原厂的工作流,一定能跑到,然后加上larry turbo的缩步,
https://huggingface.co/larryvrh/MiniMax-H3-Turbo-Lora/tree/main, 8步的素质都能保证, -
-
-
-
A100真的挺强大的...
我就在3090和A6000上试过好些加速工作流,4 step lora, Larry 8 step, Taomate, FastH3. 目前用的FastH3 v2还不错,下面这个博主做了加速版/二采超分版/人脸精修版三个工作流。我用着觉得挺好,加速版验证prompt和分镜,latent超分做清晰,有人物就再加face refinement.
Youtube Video -
补几条 A100 专属的提速点。8000s 这个量级基本是「步数 × 分辨率 × CFG」三项在叠,按下面顺序压:
- 先用蒸馏 LoRA 把步数砍到 8 步以内,并把 CFG 降到 1(走 turbo/distill 时负分支整个可以省掉,采样耗时接近腰斩)。线程里提到的 Larry turbo 和 FastH3 都属于这一类,先锁一个。
- 注意力换 SageAttention-2 或 FlashAttention-2(Ampere sm80 都支持);A100 没有 FP8,全程 bf16,并把
torch.backends.cuda.matmul.allow_tf32=True、cudnn.allow_tf32=True打开,matmul/卷积能白拿一截。 - 用
torch.compile(默认 mode)包住 DiT,首次编译慢,之后每步通常能省 10–30%;text encoder 和 VAE decode 也可以一起 compile。 - 分辨率优先于帧数:总像素/token 是注意力的大头,短边 1080→720 或帧数减半,比调任何参数都直接;VAE 解码开 tiling + 低显存模式,别让它把显存顶爆触发换页。
- 显存吃紧时加
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True;确认 text encoder/VAE 没有掉到 CPU(40G 的话 TE 也尽量放 GPU)。 - 固定 seed/分辨率/帧数/步数先做一组基线,记 s/it 和总墙钟,再逐项改,别一次动三个变量。
你手上是 40G 还是 80G?工作流是 ComfyUI 还是官方 diffusers 脚本?这两点决定 TE/VAE 能不能全放卡上,也能帮你判断瓶颈在采样还是在编解码。
-
-