【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少?—— 答案1050%↑
-
单卡 R9700 32G 跑 MiniMax-H3优化效果:每步从 353 秒到 114 秒 近期一直在搞R9700的Comfyui,搞得有点崩溃,我之前1344×768像素下,测出来的效果一直是每步 353 秒左右,做视频很痛苦。跟着大佬的帖子,让Agent梳理了下,目前提升到114秒 环境 项 对齐前 对齐后 GPU AMD Radeon AI PRO R9700 32 GB(gfx1201…
啊,原来你之前也是没有做过ck attention这块的优化,那就属于直接捞了个最大的优化权重。ദ്ദി˶•̀֊•́)✧
-
单卡 R9700 32G 跑 MiniMax-H3优化效果:每步从 353 秒到 114 秒 近期一直在搞R9700的Comfyui,搞得有点崩溃,我之前1344×768像素下,测出来的效果一直是每步 353 秒左右,做视频很痛苦。跟着大佬的帖子,让Agent梳理了下,目前提升到114秒 环境 项 对齐前 对齐后 GPU AMD Radeon AI PRO R9700 32 GB(gfx1201…
啊,原来你之前也是没有做过ck attention这块的优化,那就属于直接捞了个最大的优化权重。ദ്ദി˶•̀֊•́)✧
-
啊,原来你之前也是没有做过ck attention这块的优化,那就属于直接捞了个最大的优化权重。ദ്ദി˶•̀֊•́)
是的,感谢大佬!
之前一直没发现这个问题,当时就是感觉能跑 但一步要跑几分钟,所以头大。净捞干的,还是个大的,哈哈哈哈恭喜恭喜
-
-
-
净捞干的,还是个大的,哈哈哈哈恭喜恭喜
-
@xiongjie-gao 我弟你怎么和我的爱好如此重叠。这片子我可老爱看了,特别是徐爷的人生轨迹,为国拼杀,结果牢底坐穿。他给文三买了一辆车,尽显重情重义。文三去下馆子,后来石头片子蘸醋下酒,也是名场面。这个片段是白爷捞自助的段子吧。
哈哈哈哈哈哈哈哈对
白爷在捞瞪眼食儿ദ്ദി˶•̀֊•́)✧ -
@xiongjie-gao 我弟你怎么和我的爱好如此重叠。这片子我可老爱看了,特别是徐爷的人生轨迹,为国拼杀,结果牢底坐穿。他给文三买了一辆车,尽显重情重义。文三去下馆子,后来石头片子蘸醋下酒,也是名场面。这个片段是白爷捞自助的段子吧。
哈哈哈哈哈哈哈哈对
白爷在捞瞪眼食儿ദ്ദി˶•̀֊•́)✧ -
@xiongjie-gao 真男人既要能在特殊时刻,效仿徐爷。也要能找到闲暇时刻,和白爷一样逍遥洒脱。当然了,和文爷一样,是大多数人的日常,也要甘之如饴。
-
-
@terry 学文爷,把挨嘴把子当学费。
疼,但不致命。平平安安活到八十。@terry 学文爷,把挨嘴把子当学费。
疼,但不致命。平平安安活到八十。抄作业交卷:2×7900XTX 上把你的 3035 复现了一遍。单卡 6% 内对上,双卡要改你两行代码,另外顺手发现 sol 比 int8 还能再快一倍多。
先认个错,我这台的数和你的不是一组:DiT 是
Minimax-h3_Singularity_ref2va_v2_Pruned_w4a8(12.55 GB,你的是 fl2va w4a8 11.7 GB)、TE 是qwen3vl_32b_minimax_h3_nvfp4_awq(15.69 GB,你的 w4a8 是 26 GB)、LoRA 是minimax_h3_dmd_ref2va_8step_turbo_pruned(你那个 turbo_v4_step600 在我们机器上是坏链接)、CPU 是 5950X 不是 E5-2696v4、两卡到 CPU 还是 x8。所以下面只比同档位的比值和你给的验收线。一、单卡:你的三档,我们都在 6% 内
档 你的 我们 832×480·124f·8 步 单卡 11.235 s/it 10.564(端到端 109.2 s) 832×480·362f·8 步 单卡 53.7,显存 19.96 GB 50.78,20.01 GB 1344×768·362f·2 步 单卡 257.9,显存 23.82 GB 251.90,23.84 GB (用的是你 kuzuryusen 仓库里那个
bench.py+run_tp.sh,只换了权重名和端口。)二、你 1050% 里最大的那层(F1),我们这台没有
我们 venv 里是 torch 2.15.0+rocm7.14,
/opt里躺着 7.2.3 / 7.13.0 / 10.1 —— 按 F1 的说法这叫"看着就该坏"。但 S1 探针是健康的:路径 4096 8192 16384 pytorch(SDPA) 13.2 85.3 1164.4 kitchen int8 6.4 24.7 93.3 kitchen sol 2.3 7.4 25.3 basic(默认) 19.8 77.3 OOM(要 28.00 GiB) 所以 F1 的正确用法是"用 S1 去证",不是看版本号猜 —— 这点你帖里已经写了,我只是补一个反例:版本不同源不等于内核坏。
顺带一个建议:你那条 200 ms 的线,建议挪到 16384。 我们这台 SDPA 在 8192 只有 85 ms(过线),到 16384 是 1164 ms(×13.7,长度翻倍平方该 ×4)—— 8192 上是"假健康"。真实序列(1344×768·294f ≈ 30 万 token)比 16384 还远。
三、双卡:p2p 只值 1%,真原因是
split_state_dict取裸 key原样跑,三档全是负的:
档 原样双卡 相对单卡 你的 832×480·124f·8 11.95 s/it 0.88× 7.618(1.47×) 832×480·362f·8 54.20 0.94× 31.9(1.68×) 1344×768·362f·2 257.78 0.98× 112.3(2.30×) 先按你的路子走了一遍 p2p:装
p2p_force、按你这台的真实 sysfs 拓扑生成NCCL_TOPO_FILE(2e:00.0 → 2f:00.0/32:00.0)、重启后isAllDirectP2p 1、通道via P2P/IPC、你自己的 bootcheck 也[OK] KFD 链路 2。只快 1%(11.99→11.95、54.20→53.59)。传输不是瓶颈。真原因在
comfyui-tp2/__init__.py的split_state_dict()开头:qkv = sd.get("blocks.0.attn.qkv_proj.weight") # 取不到 → return sd,静默、不切 hd = sd.get("blocks.0.attn.q_norm.weight") if qkv is None or hd is None: return sd我们这个 w4a8 检查点 1333 个 key 里 1332 个带
model.diffusion_model.前缀,裸 key 0 个 → 每次都静默 return。于是两卡各算整个模型,每步 450 次 all_reduce / 15.1 GB;10.564 + 1.4 ≈ 11.95,一分不差。把取 key 改成允许
""/model.diffusion_model./diffusion_model.三种前缀(就那两行),立刻听到:[tp2] rank0 state_dict split: heads 56->28, keys 1332档 切了之后 相对单卡 每卡显存 832×480·124f·8 6.539 s/it,端到端 79.2 s 1.61× 23.74 GB 1344×768·362f·2 131.66 s/it,端到端 370.4 s 1.91× 17.60 GB(−6.2) LoRA 那 208 个 shape 错也一起没了(模型切了,切过的 LoRA 就对上了)。
但有个必须说清的:切了不等于单卡那一张。整帧 mean|Δ| 16.5/255(结构 14.7);参照是换 seed 重采 34.1、没切 54.8、同配置两次 0.00。全局统计一致(mean RGB 107/103/95 vs 110/103/94,std 66.8 vs 67.2)——不是坏图,但不是你验收表里的
max_abs_diff = 0。原因大概在格式:我们是打包 I8(
qkv [21504,2688]、fc1 [28672,2688],头部没有_quantization_metadata),你依赖的是comfy_quant+ codebook。打包 I8 按 K 对半切合不合法,得你判 —— 我只能给"快是真的"。四、彩蛋:sol_attn 比 int8 快,而且 1MP 单卡就够
你 S1 表里 kitchen 只有 int8。但
attention.py里还有comfy_kitchen_sol(config 写"attention": "comfy_kitchen_sol";节点下拉里没有,得自己set_model_optimized_attention)。16k 上它是 int8 的 3.7×。搬进流水线(tau=1.0、seed 145、每档冷启动、其余开关不动、权重与上表相同):
档 kitchen int8 sol s/it 832×480·124f·8 单卡 10.53 / 108.2 s 8.09 / 87.2 s 1.30× 832×480·124f·8 TP2 6.55 / 77.6 s 5.32 / 68.4 s 1.23× 832×480·362f·8 单卡 50.78 / 455.6 s 28.96 / 280.5 s 1.75× 1344×768·362f·2 单卡 250.58 / 596.8 s 105.00 / 312.5 s 2.39× 1344×768·362f·2 TP2 132.40 / 367.6 s 60.47 / 226.3 s 2.19× 三句话:
- 序列越长赢越多(1.2× → 2.4×),和你 S1 里 16k 那格的形态一致。
- 1MP 不用 TP2 了:单卡 sol 105.0 s/it,比 int8 双卡 132.4 还快,也接近你双卡的 112.3。代价是显存:0.4MP·362f 从 20.01 涨到 23.83(+3.8 GB),1MP 单卡仍装得下(23.83,没 OOM)。
- 输出约等于换一次 seed(30.5/255),是另一张同题图,不是坏图。
五、想请你判两件事
- 打包 I8 按 K 对半切(
qkv [21504,2688]→ 每卡[10752,2688])合不合法?如果不合法,我们那 1.91× 就只能当"能跑但别用"。 - sol 在你那套权重/环境上能不能也复现 2.4×?能的话,你 S4 的 112.3 大概还能再对半一次。
代码我可以直接开 PR:
split_state_dict的后缀匹配 + 一个 18 行的MiniMaxSOLAttention节点(set_model_optimized_attention(partial(attention_comfy_kitchen_sol, tau=1.0))),要不要? -
@terry 学文爷,把挨嘴把子当学费。
疼,但不致命。平平安安活到八十。抄作业交卷:2×7900XTX 上把你的 3035 复现了一遍。单卡 6% 内对上,双卡要改你两行代码,另外顺手发现 sol 比 int8 还能再快一倍多。
先认个错,我这台的数和你的不是一组:DiT 是
Minimax-h3_Singularity_ref2va_v2_Pruned_w4a8(12.55 GB,你的是 fl2va w4a8 11.7 GB)、TE 是qwen3vl_32b_minimax_h3_nvfp4_awq(15.69 GB,你的 w4a8 是 26 GB)、LoRA 是minimax_h3_dmd_ref2va_8step_turbo_pruned(你那个 turbo_v4_step600 在我们机器上是坏链接)、CPU 是 5950X 不是 E5-2696v4、两卡到 CPU 还是 x8。所以下面只比同档位的比值和你给的验收线。一、单卡:你的三档,我们都在 6% 内
档 你的 我们 832×480·124f·8 步 单卡 11.235 s/it 10.564(端到端 109.2 s) 832×480·362f·8 步 单卡 53.7,显存 19.96 GB 50.78,20.01 GB 1344×768·362f·2 步 单卡 257.9,显存 23.82 GB 251.90,23.84 GB (用的是你 kuzuryusen 仓库里那个
bench.py+run_tp.sh,只换了权重名和端口。)二、你 1050% 里最大的那层(F1),我们这台没有
我们 venv 里是 torch 2.15.0+rocm7.14,
/opt里躺着 7.2.3 / 7.13.0 / 10.1 —— 按 F1 的说法这叫"看着就该坏"。但 S1 探针是健康的:路径 4096 8192 16384 pytorch(SDPA) 13.2 85.3 1164.4 kitchen int8 6.4 24.7 93.3 kitchen sol 2.3 7.4 25.3 basic(默认) 19.8 77.3 OOM(要 28.00 GiB) 所以 F1 的正确用法是"用 S1 去证",不是看版本号猜 —— 这点你帖里已经写了,我只是补一个反例:版本不同源不等于内核坏。
顺带一个建议:你那条 200 ms 的线,建议挪到 16384。 我们这台 SDPA 在 8192 只有 85 ms(过线),到 16384 是 1164 ms(×13.7,长度翻倍平方该 ×4)—— 8192 上是"假健康"。真实序列(1344×768·294f ≈ 30 万 token)比 16384 还远。
三、双卡:p2p 只值 1%,真原因是
split_state_dict取裸 key原样跑,三档全是负的:
档 原样双卡 相对单卡 你的 832×480·124f·8 11.95 s/it 0.88× 7.618(1.47×) 832×480·362f·8 54.20 0.94× 31.9(1.68×) 1344×768·362f·2 257.78 0.98× 112.3(2.30×) 先按你的路子走了一遍 p2p:装
p2p_force、按你这台的真实 sysfs 拓扑生成NCCL_TOPO_FILE(2e:00.0 → 2f:00.0/32:00.0)、重启后isAllDirectP2p 1、通道via P2P/IPC、你自己的 bootcheck 也[OK] KFD 链路 2。只快 1%(11.99→11.95、54.20→53.59)。传输不是瓶颈。真原因在
comfyui-tp2/__init__.py的split_state_dict()开头:qkv = sd.get("blocks.0.attn.qkv_proj.weight") # 取不到 → return sd,静默、不切 hd = sd.get("blocks.0.attn.q_norm.weight") if qkv is None or hd is None: return sd我们这个 w4a8 检查点 1333 个 key 里 1332 个带
model.diffusion_model.前缀,裸 key 0 个 → 每次都静默 return。于是两卡各算整个模型,每步 450 次 all_reduce / 15.1 GB;10.564 + 1.4 ≈ 11.95,一分不差。把取 key 改成允许
""/model.diffusion_model./diffusion_model.三种前缀(就那两行),立刻听到:[tp2] rank0 state_dict split: heads 56->28, keys 1332档 切了之后 相对单卡 每卡显存 832×480·124f·8 6.539 s/it,端到端 79.2 s 1.61× 23.74 GB 1344×768·362f·2 131.66 s/it,端到端 370.4 s 1.91× 17.60 GB(−6.2) LoRA 那 208 个 shape 错也一起没了(模型切了,切过的 LoRA 就对上了)。
但有个必须说清的:切了不等于单卡那一张。整帧 mean|Δ| 16.5/255(结构 14.7);参照是换 seed 重采 34.1、没切 54.8、同配置两次 0.00。全局统计一致(mean RGB 107/103/95 vs 110/103/94,std 66.8 vs 67.2)——不是坏图,但不是你验收表里的
max_abs_diff = 0。原因大概在格式:我们是打包 I8(
qkv [21504,2688]、fc1 [28672,2688],头部没有_quantization_metadata),你依赖的是comfy_quant+ codebook。打包 I8 按 K 对半切合不合法,得你判 —— 我只能给"快是真的"。四、彩蛋:sol_attn 比 int8 快,而且 1MP 单卡就够
你 S1 表里 kitchen 只有 int8。但
attention.py里还有comfy_kitchen_sol(config 写"attention": "comfy_kitchen_sol";节点下拉里没有,得自己set_model_optimized_attention)。16k 上它是 int8 的 3.7×。搬进流水线(tau=1.0、seed 145、每档冷启动、其余开关不动、权重与上表相同):
档 kitchen int8 sol s/it 832×480·124f·8 单卡 10.53 / 108.2 s 8.09 / 87.2 s 1.30× 832×480·124f·8 TP2 6.55 / 77.6 s 5.32 / 68.4 s 1.23× 832×480·362f·8 单卡 50.78 / 455.6 s 28.96 / 280.5 s 1.75× 1344×768·362f·2 单卡 250.58 / 596.8 s 105.00 / 312.5 s 2.39× 1344×768·362f·2 TP2 132.40 / 367.6 s 60.47 / 226.3 s 2.19× 三句话:
- 序列越长赢越多(1.2× → 2.4×),和你 S1 里 16k 那格的形态一致。
- 1MP 不用 TP2 了:单卡 sol 105.0 s/it,比 int8 双卡 132.4 还快,也接近你双卡的 112.3。代价是显存:0.4MP·362f 从 20.01 涨到 23.83(+3.8 GB),1MP 单卡仍装得下(23.83,没 OOM)。
- 输出约等于换一次 seed(30.5/255),是另一张同题图,不是坏图。
五、想请你判两件事
- 打包 I8 按 K 对半切(
qkv [21504,2688]→ 每卡[10752,2688])合不合法?如果不合法,我们那 1.91× 就只能当"能跑但别用"。 - sol 在你那套权重/环境上能不能也复现 2.4×?能的话,你 S4 的 112.3 大概还能再对半一次。
代码我可以直接开 PR:
split_state_dict的后缀匹配 + 一个 18 行的MiniMaxSOLAttention节点(set_model_optimized_attention(partial(attention_comfy_kitchen_sol, tau=1.0))),要不要? -
@terry 学文爷,把挨嘴把子当学费。
疼,但不致命。平平安安活到八十。抄作业交卷:2×7900XTX 上把你的 3035 复现了一遍。单卡 6% 内对上,双卡要改你两行代码,另外顺手发现 sol 比 int8 还能再快一倍多。
先认个错,我这台的数和你的不是一组:DiT 是
Minimax-h3_Singularity_ref2va_v2_Pruned_w4a8(12.55 GB,你的是 fl2va w4a8 11.7 GB)、TE 是qwen3vl_32b_minimax_h3_nvfp4_awq(15.69 GB,你的 w4a8 是 26 GB)、LoRA 是minimax_h3_dmd_ref2va_8step_turbo_pruned(你那个 turbo_v4_step600 在我们机器上是坏链接)、CPU 是 5950X 不是 E5-2696v4、两卡到 CPU 还是 x8。所以下面只比同档位的比值和你给的验收线。一、单卡:你的三档,我们都在 6% 内
档 你的 我们 832×480·124f·8 步 单卡 11.235 s/it 10.564(端到端 109.2 s) 832×480·362f·8 步 单卡 53.7,显存 19.96 GB 50.78,20.01 GB 1344×768·362f·2 步 单卡 257.9,显存 23.82 GB 251.90,23.84 GB (用的是你 kuzuryusen 仓库里那个
bench.py+run_tp.sh,只换了权重名和端口。)二、你 1050% 里最大的那层(F1),我们这台没有
我们 venv 里是 torch 2.15.0+rocm7.14,
/opt里躺着 7.2.3 / 7.13.0 / 10.1 —— 按 F1 的说法这叫"看着就该坏"。但 S1 探针是健康的:路径 4096 8192 16384 pytorch(SDPA) 13.2 85.3 1164.4 kitchen int8 6.4 24.7 93.3 kitchen sol 2.3 7.4 25.3 basic(默认) 19.8 77.3 OOM(要 28.00 GiB) 所以 F1 的正确用法是"用 S1 去证",不是看版本号猜 —— 这点你帖里已经写了,我只是补一个反例:版本不同源不等于内核坏。
顺带一个建议:你那条 200 ms 的线,建议挪到 16384。 我们这台 SDPA 在 8192 只有 85 ms(过线),到 16384 是 1164 ms(×13.7,长度翻倍平方该 ×4)—— 8192 上是"假健康"。真实序列(1344×768·294f ≈ 30 万 token)比 16384 还远。
三、双卡:p2p 只值 1%,真原因是
split_state_dict取裸 key原样跑,三档全是负的:
档 原样双卡 相对单卡 你的 832×480·124f·8 11.95 s/it 0.88× 7.618(1.47×) 832×480·362f·8 54.20 0.94× 31.9(1.68×) 1344×768·362f·2 257.78 0.98× 112.3(2.30×) 先按你的路子走了一遍 p2p:装
p2p_force、按你这台的真实 sysfs 拓扑生成NCCL_TOPO_FILE(2e:00.0 → 2f:00.0/32:00.0)、重启后isAllDirectP2p 1、通道via P2P/IPC、你自己的 bootcheck 也[OK] KFD 链路 2。只快 1%(11.99→11.95、54.20→53.59)。传输不是瓶颈。真原因在
comfyui-tp2/__init__.py的split_state_dict()开头:qkv = sd.get("blocks.0.attn.qkv_proj.weight") # 取不到 → return sd,静默、不切 hd = sd.get("blocks.0.attn.q_norm.weight") if qkv is None or hd is None: return sd我们这个 w4a8 检查点 1333 个 key 里 1332 个带
model.diffusion_model.前缀,裸 key 0 个 → 每次都静默 return。于是两卡各算整个模型,每步 450 次 all_reduce / 15.1 GB;10.564 + 1.4 ≈ 11.95,一分不差。把取 key 改成允许
""/model.diffusion_model./diffusion_model.三种前缀(就那两行),立刻听到:[tp2] rank0 state_dict split: heads 56->28, keys 1332档 切了之后 相对单卡 每卡显存 832×480·124f·8 6.539 s/it,端到端 79.2 s 1.61× 23.74 GB 1344×768·362f·2 131.66 s/it,端到端 370.4 s 1.91× 17.60 GB(−6.2) LoRA 那 208 个 shape 错也一起没了(模型切了,切过的 LoRA 就对上了)。
但有个必须说清的:切了不等于单卡那一张。整帧 mean|Δ| 16.5/255(结构 14.7);参照是换 seed 重采 34.1、没切 54.8、同配置两次 0.00。全局统计一致(mean RGB 107/103/95 vs 110/103/94,std 66.8 vs 67.2)——不是坏图,但不是你验收表里的
max_abs_diff = 0。原因大概在格式:我们是打包 I8(
qkv [21504,2688]、fc1 [28672,2688],头部没有_quantization_metadata),你依赖的是comfy_quant+ codebook。打包 I8 按 K 对半切合不合法,得你判 —— 我只能给"快是真的"。四、彩蛋:sol_attn 比 int8 快,而且 1MP 单卡就够
你 S1 表里 kitchen 只有 int8。但
attention.py里还有comfy_kitchen_sol(config 写"attention": "comfy_kitchen_sol";节点下拉里没有,得自己set_model_optimized_attention)。16k 上它是 int8 的 3.7×。搬进流水线(tau=1.0、seed 145、每档冷启动、其余开关不动、权重与上表相同):
档 kitchen int8 sol s/it 832×480·124f·8 单卡 10.53 / 108.2 s 8.09 / 87.2 s 1.30× 832×480·124f·8 TP2 6.55 / 77.6 s 5.32 / 68.4 s 1.23× 832×480·362f·8 单卡 50.78 / 455.6 s 28.96 / 280.5 s 1.75× 1344×768·362f·2 单卡 250.58 / 596.8 s 105.00 / 312.5 s 2.39× 1344×768·362f·2 TP2 132.40 / 367.6 s 60.47 / 226.3 s 2.19× 三句话:
- 序列越长赢越多(1.2× → 2.4×),和你 S1 里 16k 那格的形态一致。
- 1MP 不用 TP2 了:单卡 sol 105.0 s/it,比 int8 双卡 132.4 还快,也接近你双卡的 112.3。代价是显存:0.4MP·362f 从 20.01 涨到 23.83(+3.8 GB),1MP 单卡仍装得下(23.83,没 OOM)。
- 输出约等于换一次 seed(30.5/255),是另一张同题图,不是坏图。
五、想请你判两件事
- 打包 I8 按 K 对半切(
qkv [21504,2688]→ 每卡[10752,2688])合不合法?如果不合法,我们那 1.91× 就只能当"能跑但别用"。 - sol 在你那套权重/环境上能不能也复现 2.4×?能的话,你 S4 的 112.3 大概还能再对半一次。
代码我可以直接开 PR:
split_state_dict的后缀匹配 + 一个 18 行的MiniMaxSOLAttention节点(set_model_optimized_attention(partial(attention_comfy_kitchen_sol, tau=1.0))),要不要?@Enigma 你的报告把这项目又推到了更夸张的提升。
结论先给
指标 数值 含义 SOL 单次注意力 vs kitchen int8 3.5–4.1× 本机 microbench,S=15k/23k/38.5k SOL 端到端折算 1.5–2.0× 0.4 MP 1.54×,1 MP ~2.0×(按注意力占比) 卡间实测带宽 5.00 GB/s 本机 Gen3 x8 是瓶颈(理论上限 7.88,效率 63%) 换 x16 板后 10.30 GB/s X99-T8 类,同 CPU 同 root port,只差 lane 数 TP2 每步通信暴露 4.0 s/it 32.7 − 57.4/2,占 TP2 单步 12.2% 并表后总加速 10.5 → 11.9 → 12.5× +SOL → 再加 P2P;单条 3.3 → 2.90 → 2.76 min 一句话:真正的大头是 SOL 注意力,不是卡间带宽。SOL 把单次注意力压到 1/3.5–1/4.1,端到端(外部同构实测 1.23×)就能把总账从 10.5× 推到 11.9×;P2P 只值 6–12%,且要换主板。
-
@Enigma 你的报告把这项目又推到了更夸张的提升。
结论先给
指标 数值 含义 SOL 单次注意力 vs kitchen int8 3.5–4.1× 本机 microbench,S=15k/23k/38.5k SOL 端到端折算 1.5–2.0× 0.4 MP 1.54×,1 MP ~2.0×(按注意力占比) 卡间实测带宽 5.00 GB/s 本机 Gen3 x8 是瓶颈(理论上限 7.88,效率 63%) 换 x16 板后 10.30 GB/s X99-T8 类,同 CPU 同 root port,只差 lane 数 TP2 每步通信暴露 4.0 s/it 32.7 − 57.4/2,占 TP2 单步 12.2% 并表后总加速 10.5 → 11.9 → 12.5× +SOL → 再加 P2P;单条 3.3 → 2.90 → 2.76 min 一句话:真正的大头是 SOL 注意力,不是卡间带宽。SOL 把单次注意力压到 1/3.5–1/4.1,端到端(外部同构实测 1.23×)就能把总账从 10.5× 推到 11.9×;P2P 只值 6–12%,且要换主板。
@Enigma 你的报告把这项目又推到了更夸张的提升。
结论先给
指标 数值 含义 SOL 单次注意力 vs kitchen int8 3.5–4.1× 本机 microbench,S=15k/23k/38.5k SOL 端到端折算 1.5–2.0× 0.4 MP 1.54×,1 MP ~2.0×(按注意力占比) 卡间实测带宽 5.00 GB/s 本机 Gen3 x8 是瓶颈(理论上限 7.88,效率 63%) 换 x16 板后 10.30 GB/s X99-T8 类,同 CPU 同 root port,只差 lane 数 TP2 每步通信暴露 4.0 s/it 32.7 − 57.4/2,占 TP2 单步 12.2% 并表后总加速 10.5 → 11.9 → 12.5× +SOL → 再加 P2P;单条 3.3 → 2.90 → 2.76 min 一句话:真正的大头是 SOL 注意力,不是卡间带宽。SOL 把单次注意力压到 1/3.5–1/4.1,端到端(外部同构实测 1.23×)就能把总账从 10.5× 推到 11.9×;P2P 只值 6–12%,且要换主板。

-
@terry 学文爷,把挨嘴把子当学费。
疼,但不致命。平平安安活到八十。抄作业交卷:2×7900XTX 上把你的 3035 复现了一遍。单卡 6% 内对上,双卡要改你两行代码,另外顺手发现 sol 比 int8 还能再快一倍多。
先认个错,我这台的数和你的不是一组:DiT 是
Minimax-h3_Singularity_ref2va_v2_Pruned_w4a8(12.55 GB,你的是 fl2va w4a8 11.7 GB)、TE 是qwen3vl_32b_minimax_h3_nvfp4_awq(15.69 GB,你的 w4a8 是 26 GB)、LoRA 是minimax_h3_dmd_ref2va_8step_turbo_pruned(你那个 turbo_v4_step600 在我们机器上是坏链接)、CPU 是 5950X 不是 E5-2696v4、两卡到 CPU 还是 x8。所以下面只比同档位的比值和你给的验收线。一、单卡:你的三档,我们都在 6% 内
档 你的 我们 832×480·124f·8 步 单卡 11.235 s/it 10.564(端到端 109.2 s) 832×480·362f·8 步 单卡 53.7,显存 19.96 GB 50.78,20.01 GB 1344×768·362f·2 步 单卡 257.9,显存 23.82 GB 251.90,23.84 GB (用的是你 kuzuryusen 仓库里那个
bench.py+run_tp.sh,只换了权重名和端口。)二、你 1050% 里最大的那层(F1),我们这台没有
我们 venv 里是 torch 2.15.0+rocm7.14,
/opt里躺着 7.2.3 / 7.13.0 / 10.1 —— 按 F1 的说法这叫"看着就该坏"。但 S1 探针是健康的:路径 4096 8192 16384 pytorch(SDPA) 13.2 85.3 1164.4 kitchen int8 6.4 24.7 93.3 kitchen sol 2.3 7.4 25.3 basic(默认) 19.8 77.3 OOM(要 28.00 GiB) 所以 F1 的正确用法是"用 S1 去证",不是看版本号猜 —— 这点你帖里已经写了,我只是补一个反例:版本不同源不等于内核坏。
顺带一个建议:你那条 200 ms 的线,建议挪到 16384。 我们这台 SDPA 在 8192 只有 85 ms(过线),到 16384 是 1164 ms(×13.7,长度翻倍平方该 ×4)—— 8192 上是"假健康"。真实序列(1344×768·294f ≈ 30 万 token)比 16384 还远。
三、双卡:p2p 只值 1%,真原因是
split_state_dict取裸 key原样跑,三档全是负的:
档 原样双卡 相对单卡 你的 832×480·124f·8 11.95 s/it 0.88× 7.618(1.47×) 832×480·362f·8 54.20 0.94× 31.9(1.68×) 1344×768·362f·2 257.78 0.98× 112.3(2.30×) 先按你的路子走了一遍 p2p:装
p2p_force、按你这台的真实 sysfs 拓扑生成NCCL_TOPO_FILE(2e:00.0 → 2f:00.0/32:00.0)、重启后isAllDirectP2p 1、通道via P2P/IPC、你自己的 bootcheck 也[OK] KFD 链路 2。只快 1%(11.99→11.95、54.20→53.59)。传输不是瓶颈。真原因在
comfyui-tp2/__init__.py的split_state_dict()开头:qkv = sd.get("blocks.0.attn.qkv_proj.weight") # 取不到 → return sd,静默、不切 hd = sd.get("blocks.0.attn.q_norm.weight") if qkv is None or hd is None: return sd我们这个 w4a8 检查点 1333 个 key 里 1332 个带
model.diffusion_model.前缀,裸 key 0 个 → 每次都静默 return。于是两卡各算整个模型,每步 450 次 all_reduce / 15.1 GB;10.564 + 1.4 ≈ 11.95,一分不差。把取 key 改成允许
""/model.diffusion_model./diffusion_model.三种前缀(就那两行),立刻听到:[tp2] rank0 state_dict split: heads 56->28, keys 1332档 切了之后 相对单卡 每卡显存 832×480·124f·8 6.539 s/it,端到端 79.2 s 1.61× 23.74 GB 1344×768·362f·2 131.66 s/it,端到端 370.4 s 1.91× 17.60 GB(−6.2) LoRA 那 208 个 shape 错也一起没了(模型切了,切过的 LoRA 就对上了)。
但有个必须说清的:切了不等于单卡那一张。整帧 mean|Δ| 16.5/255(结构 14.7);参照是换 seed 重采 34.1、没切 54.8、同配置两次 0.00。全局统计一致(mean RGB 107/103/95 vs 110/103/94,std 66.8 vs 67.2)——不是坏图,但不是你验收表里的
max_abs_diff = 0。原因大概在格式:我们是打包 I8(
qkv [21504,2688]、fc1 [28672,2688],头部没有_quantization_metadata),你依赖的是comfy_quant+ codebook。打包 I8 按 K 对半切合不合法,得你判 —— 我只能给"快是真的"。四、彩蛋:sol_attn 比 int8 快,而且 1MP 单卡就够
你 S1 表里 kitchen 只有 int8。但
attention.py里还有comfy_kitchen_sol(config 写"attention": "comfy_kitchen_sol";节点下拉里没有,得自己set_model_optimized_attention)。16k 上它是 int8 的 3.7×。搬进流水线(tau=1.0、seed 145、每档冷启动、其余开关不动、权重与上表相同):
档 kitchen int8 sol s/it 832×480·124f·8 单卡 10.53 / 108.2 s 8.09 / 87.2 s 1.30× 832×480·124f·8 TP2 6.55 / 77.6 s 5.32 / 68.4 s 1.23× 832×480·362f·8 单卡 50.78 / 455.6 s 28.96 / 280.5 s 1.75× 1344×768·362f·2 单卡 250.58 / 596.8 s 105.00 / 312.5 s 2.39× 1344×768·362f·2 TP2 132.40 / 367.6 s 60.47 / 226.3 s 2.19× 三句话:
- 序列越长赢越多(1.2× → 2.4×),和你 S1 里 16k 那格的形态一致。
- 1MP 不用 TP2 了:单卡 sol 105.0 s/it,比 int8 双卡 132.4 还快,也接近你双卡的 112.3。代价是显存:0.4MP·362f 从 20.01 涨到 23.83(+3.8 GB),1MP 单卡仍装得下(23.83,没 OOM)。
- 输出约等于换一次 seed(30.5/255),是另一张同题图,不是坏图。
五、想请你判两件事
- 打包 I8 按 K 对半切(
qkv [21504,2688]→ 每卡[10752,2688])合不合法?如果不合法,我们那 1.91× 就只能当"能跑但别用"。 - sol 在你那套权重/环境上能不能也复现 2.4×?能的话,你 S4 的 112.3 大概还能再对半一次。
代码我可以直接开 PR:
split_state_dict的后缀匹配 + 一个 18 行的MiniMaxSOLAttention节点(set_model_optimized_attention(partial(attention_comfy_kitchen_sol, tau=1.0))),要不要? -
-
@6cccccc 昨天跑了样片,因为太晚了没时间整理
今晚整理出来
从我观感看来,这个损失可以接受,几乎看不出画面质量的区别。@xiongjie-gao 行,我一会也试试
-
-
-



莫嫖我了老哥