<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑]]></title><description><![CDATA[<p dir="auto"><img src="https://upload.lcz.me/uploads/8df1e807-cb99-4b4a-8617-c9de7c327d9b.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto">10.5×的提升有点神奇噢，但这跟我Comfy UI的体质有直接关系<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f921.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--clown_face" style="height:1.4em;width:auto;vertical-align:middle" title=":clown_face:" alt="🤡" /><br />
因为常常做一现数据的复现，所以本地的Comfy Ui的环境已经被我搞得非常地复杂。大家可以简单地把它理解为我把它弄残了。832×480 / 15 秒 / 单条总耗时能跑出半个多小时。就是因为注意力机制后端失效。现在在捋顺的情况下，此消彼涨，数据自然很夸张。</p>
<p dir="auto">当然，也有间接的好处：在没有过度粉饰的情况下拿它拿标题就很吸睛。唉，就是传说中的标题党，震惊部。<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f920.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--face_with_cowboy_hat" style="height:1.4em;width:auto;vertical-align:middle" title=":face_with_cowboy_hat:" alt="🤠" /></p>
<p dir="auto">这套项目该有的正常表现，希望大家多多跟贴。<br />
<img src="https://upload.lcz.me/uploads/e1ae49c8-67ed-4728-bde8-bf6fb4101bbc.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto">－－－－－－－－－－－－－－－－－－－－分割线－－－－－－－－－－－－－－－－－－－－－－－</p>
<h1>MiniMax-H3 · 7900 XTX 优化看板（文字版）</h1>
<p dir="auto">日期：2026-11-13<br />
平台：AMD Radeon RX 7900 XTX 24 GB ×2 / ROCm 7.2.0 / ComfyUI（<code>/home/jay/ComfyUI-AMD</code>）<br />
工作流：MiniMax-H3（<code>minimax_h3_fl2va_pruned-w4a8_convrot</code> + turbo LoRA v4 step600）</p>
<blockquote>
<p dir="auto">本文是 HTML 看板的 Markdown 版本，结构、数字与判定完全一致；图表以数据表 + 走势描述呈现。</p>
</blockquote>
<hr />
<h2>00 今天最大的成效</h2>
<p dir="auto">一句话：<strong>83% 的收益来自一处环境修复</strong>——venv 里的 torch 与系统 ROCm 版本不同源，导致注意力后端整条失效。修好之后，15 秒档从"34.5 分钟且随时 OOM"变成"3.3 分钟且稳定出片"。</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>指标</th>
<th>数值</th>
<th>说明</th>
</tr>
</thead>
<tbody>
<tr>
<td>单条总耗时</td>
<td><strong>10.5×</strong></td>
<td>832×480 / 15 秒：34.5 min → 3.3 min</td>
</tr>
<tr>
<td>出片成功率</td>
<td><strong>0 → 100%</strong></td>
<td>1344×768 / 15 秒，峰值 23.82 / 23.98 GB</td>
</tr>
<tr>
<td>单次注意力</td>
<td><strong>6.2×</strong></td>
<td>922.5 ms → 152.7 ms，根因是 whl-next 通道内核错配</td>
</tr>
</tbody>
</table>
<hr />
<h2>01 两个目标的判定</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>目标</th>
<th>今天之前</th>
<th>现在</th>
<th>判定</th>
</tr>
</thead>
<tbody>
<tr>
<td><strong>15 秒不 OOM</strong></td>
<td>1344×768 直接崩溃（音频 VAE 申请 3.07 GiB 失败）；832×480 靠 sub_quad 勉强跑但 34.5 min</td>
<td>832×480 与 1344×768 均稳定出片；峰值 20.0 / 23.82 GB</td>
<td>达成</td>
</tr>
<tr>
<td><strong>速度在常驻 2–3 倍内</strong></td>
<td>常驻路径本身不可用，无法比较</td>
<td>0.4 MP 不触发权重换出，DynamicVRAM 开销仅 3.5%，等效 1.03× 常驻</td>
<td>超额达成</td>
</tr>
</tbody>
</table>
<p dir="auto">前提变化：<strong>0.4 MP 根本不需要 offload</strong>（权重 11.9 GB + 激活 6–8 GB 可共存），所以"2–3 倍代价"这把尺子只对 1 MP 成立；而 1 MP 我们用 TP2 把权重对半分（每卡 6 GB），是绕开 offload，而不是把它做快。</p>
<hr />
<h2>02 改动贡献：逐层叠加</h2>
<p dir="auto">每一层只加一个变量。前三层为实测，第四层由实测的冷启动节省推算。</p>
<p dir="auto"><strong>图 1 · 单条 15 秒视频总耗时演进（832×480 / 8 步）</strong></p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/37f94ece-f70b-4a6b-89b3-f670d4b41cb1.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>阶段</th>
<th>配置</th>
<th>单条</th>
<th>相对上一级</th>
<th>占总收益</th>
</tr>
</thead>
<tbody>
<tr>
<td>起点</td>
<td>破损 torch → sub_quad 兜底，259 s/it</td>
<td>34.5 min</td>
<td>—</td>
<td>—</td>
</tr>
<tr>
<td>① 环境修复</td>
<td>torch 同源 + kitchen 注意力，53.7 s/it</td>
<td><strong>8.6 min</strong></td>
<td>4.0×</td>
<td><strong>83%</strong></td>
</tr>
<tr>
<td>② 步数</td>
<td>8 步 → 4 步</td>
<td><strong>5.9 min</strong></td>
<td>1.5×</td>
<td>8.7%</td>
</tr>
<tr>
<td>③ TP2</td>
<td>两卡张量并行，31.9 s/it</td>
<td><strong>4.5 min</strong></td>
<td>1.3×</td>
<td>4.5%</td>
</tr>
<tr>
<td>④ 常驻实例</td>
<td>复用进程，省掉冷启动</td>
<td><strong>3.3 min</strong></td>
<td>1.4×</td>
<td>3.8%</td>
</tr>
</tbody>
</table>
<hr />
<h2>03 核心指标：每步耗时（s/it）</h2>
<p dir="auto"><img src="https://upload.lcz.me/uploads/0655e8c8-8a0f-4cb6-8fb6-f6194ff770c4.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto"><strong>图 2 · 三种注意力后端 × 三种序列长度</strong></p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>场景</th>
<th style="text-align:right">sub_quad 兜底</th>
<th style="text-align:right">kitchen · 单卡</th>
<th style="text-align:right">kitchen · TP2</th>
</tr>
</thead>
<tbody>
<tr>
<td>832×480 · 124 帧</td>
<td style="text-align:right">53</td>
<td style="text-align:right">15.5</td>
<td style="text-align:right">—</td>
</tr>
<tr>
<td>832×480 · 362 帧</td>
<td style="text-align:right">259</td>
<td style="text-align:right">53.7</td>
<td style="text-align:right"><strong>31.9</strong></td>
</tr>
<tr>
<td>1344×768 · 362 帧</td>
<td style="text-align:right">OOM</td>
<td style="text-align:right">257.9</td>
<td style="text-align:right"><strong>112.3</strong></td>
</tr>
</tbody>
</table>
<p dir="auto">走势：sub_quad 与 kitchen 在 124 帧差 3.4 倍，在 362 帧差 4.8 倍——序列越长差距越大；TP2 把整条曲线向下平移，1 MP 处收益最大（2.30×）。</p>
<p dir="auto"><strong>图 3 · 每 token 耗时随序列长度增长</strong></p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>序列长度</th>
<th style="text-align:right">ms/token</th>
<th style="text-align:right">相对 48k</th>
</tr>
</thead>
<tbody>
<tr>
<td>48k</td>
<td style="text-align:right">0.32</td>
<td style="text-align:right">1.0×</td>
</tr>
<tr>
<td>84k</td>
<td style="text-align:right">0.72</td>
<td style="text-align:right">2.3×</td>
</tr>
<tr>
<td>142k</td>
<td style="text-align:right">1.82</td>
<td style="text-align:right">5.7×</td>
</tr>
</tbody>
</table>
<p dir="auto"><img src="https://upload.lcz.me/uploads/c70b6961-250c-46a3-b905-f70979d0d81b.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto">线性基线应约 0.55 ms/token，实测斜率明显更陡。这是<strong>注意力的平方项</strong>，也是 1 MP 比 0.4 MP 慢 4.8 倍（而不是 2.5 倍）的原因，同时排除了"每步换权重"的猜测。</p>
<hr />
<h2>04 显存：真正的墙在哪</h2>
<p dir="auto"><strong>图 4 · 峰值显存与 24 GB 物理上限</strong></p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>配置</th>
<th style="text-align:right">峰值</th>
<th style="text-align:right">占可用上限（23.98 GB）</th>
</tr>
</thead>
<tbody>
<tr>
<td>0.4 MP · 不开 DV</td>
<td style="text-align:right">18.65 GB</td>
<td style="text-align:right">77.8%</td>
</tr>
<tr>
<td>0.4 MP · 开 DV</td>
<td style="text-align:right">19.96 GB</td>
<td style="text-align:right">83.2%</td>
</tr>
<tr>
<td>1 MP · 开 DV 单卡</td>
<td style="text-align:right">23.82 GB</td>
<td style="text-align:right"><strong>99.3%</strong></td>
</tr>
</tbody>
</table>
<p dir="auto"><img src="https://upload.lcz.me/uploads/03b1a619-ebf5-4cbe-9ffc-cbbf7f149ee0.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto">0.4 MP 开不开 DynamicVRAM 都安全；1 MP 单卡开 DV 后离墙只剩 0.16 GB，因此 1 MP 的推荐路径是 TP2 而不是单卡硬撑。</p>
<hr />
<h2>05 失败档案：走过的弯路</h2>
<p dir="auto">失败项不是噪声，它们各自排除了一个假设。</p>
<p dir="auto"><strong>F1 · torch 版本错配 → SDPA 全后端失效</strong><br />
whl-next 的 <code>2.14.0+rocm10.1.0</code> 链到系统 ROCm 7.2，AOTriton 内核加载即失败，报 <code>hipErrorInvalidImage</code>，ComfyUI 静默退回 sub_quad。<br />
教训：ROCm 环境里必须让 wheel 与系统 ROCm 同源，否则内核不可用且不报错，只降速。</p>
<p dir="auto"><strong>F2 · sub_quad 兜底能跑，但慢 6 倍</strong><br />
922.5 ms/次注意力，端到端 490 s。能出片，掩盖了"后端已坏"这个事实。<br />
教训："能出片"不等于"跑在正确路径上"，需要用微基准校验单算子延迟。</p>
<p dir="auto"><strong>F3 ·</strong> <strong><code>--novram</code>：权重全放 CPU 反而更慢</strong><br />
362 帧实测 275 s/it，比全驻留的 259 还差 6%。<br />
教训：直接证伪"权重换入换出是瓶颈"，也是后来判定不做逐 block 流式的关键证据。</p>
<p dir="auto"><strong>F4 · max_split_size_mb 调优：噪声内</strong><br />
54.3 vs 56.4 s/it，差异小于批次抖动；DV 模式下该参数本就不参与分配。<br />
教训：碎片类参数只在显存分配器主导时有意义，aimdo 用 VBAR 绕过了它。</p>
<p dir="auto"><strong>F5 · 1 MP 不开 DV：FFN 6.25 GB 分配失败</strong><br />
权重 11.9 GB 常驻后，激活峰值无处安放，第一步就 OOM。<br />
教训：1 MP 必须开 DV 或 TP2，没有第三条路。</p>
<p dir="auto"><strong>F6 · 1 MP + chunk 节点：302 s/it，第 2 步仍 OOM</strong><br />
分块 FFN 把单次分配压下去了，但总驻留没降。<br />
教训：峰值削峰不等于总量够用，要看"权重 + 激活"的总账。</p>
<p dir="auto"><strong>F7 · 以为 pytorch 注意力是安全回退，结果也 OOM</strong><br />
修好 torch 后 SDPA 走 math 后端，<code>attention.py:615</code> 在 124 帧就要单次分配 23.06 GiB，362 帧无解。<br />
教训：kitchen 不是"更快的选项"，而是当前 build 下唯一能跑的通路。</p>
<p dir="auto"><strong>F8 · 同 seed 重复提交：7.1 s 的假加速</strong><br />
ComfyUI 节点缓存命中，看起来像 30 倍提速。<br />
教训：测冷热启动必须换 seed，否则结论全废。</p>
<p dir="auto"><strong>F9 · avcodec EINVAL：最后一步毁掉整条任务</strong><br />
视频流已 flush，封装音频时返回 22，362 帧批次普遍出现，10 分钟算力白费。<br />
教训：已加"降级为无声视频"兜底；根因未定位，属已知残留问题。</p>
<p dir="auto"><strong>F10 · 逐 block 流式（方案 B）：判定不做</strong><br />
原计划自研 pinned CPU + 侧流预取。前提是"259 s/it 来自权重抖动"，而该前提被 F3 与图 3 同时证伪。<br />
教训：aimdo 的 VBAR 已是同类机制（实测只值 3.5%），再写一套只会更慢。重启条件：<code>--novram</code> 慢 2 倍以上。</p>
<p dir="auto"><strong>F11 · 移植 comfy-aimdo 原生层：不可行</strong><br />
它是 CUDA VMM（VBAR / 32 MB 页 / fault / watermark），NVIDIA 专有接口。<br />
教训：ROCm 版 <code>aimdo_rocm.so</code> 存在，只是被 <code>rocm &gt;= 7.14</code> 的版本闸挡住——这才是 <code>--enable-dynamic-vram</code> 生效的原因。</p>
<p dir="auto"><strong>F12 · 音频 VAE 一次性编码：15 秒档必崩</strong><br />
1344×768 / 362 帧时申请 3.07 GiB 失败。<br />
教训：按 5 秒切段编码（<code>_encode_audio_chunked</code>）后 OOM 消失，是目标一的基础。</p>
<hr />
<h2>06 本机环境与软件栈（复现基线）</h2>
<p dir="auto">版本错配（见 F1）会直接导致 6 倍降速，下表为实测时的确切版本。</p>
<h3>硬件</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项目</th>
<th>实测值</th>
<th>备注</th>
</tr>
</thead>
<tbody>
<tr>
<td>GPU</td>
<td>AMD Radeon RX 7900 XTX 24 GB ×2</td>
<td>gfx1100，RDNA3</td>
</tr>
<tr>
<td>显存可用上限</td>
<td>23.98 GB</td>
<td>rocm-smi 报告 24560 MiB</td>
</tr>
<tr>
<td>PCIe</td>
<td>4.0 ×8（8.0 GT/s）</td>
<td>非 ×16，影响主机<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2194.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--left_right_arrow" style="height:1.4em;width:auto;vertical-align:middle" title="↔" alt="↔" />显存搬运</td>
</tr>
<tr>
<td>CPU</td>
<td>Intel Xeon E5-2696 v4 @ 2.20 GHz</td>
<td>—</td>
</tr>
<tr>
<td>内存</td>
<td>125 GB</td>
<td>足够放下 26 GB 文本编码器</td>
</tr>
</tbody>
</table>
<h3>软件栈</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>组件</th>
<th>版本</th>
<th>关键性</th>
</tr>
</thead>
<tbody>
<tr>
<td>OS</td>
<td>Ubuntu 24.04.5 LTS，kernel 7.0.0-42-generic</td>
<td>—</td>
</tr>
<tr>
<td>ROCm</td>
<td>7.2.26015-fc0010cf6a</td>
<td><strong>必须与 torch 同源</strong></td>
</tr>
<tr>
<td>Python</td>
<td>3.12.3</td>
<td>venv：<code>/home/jay/ComfyUI-AMD/venv</code></td>
</tr>
<tr>
<td>torch</td>
<td>2.14.1+rocm7.2</td>
<td><strong>核心修复</strong></td>
</tr>
<tr>
<td>torchvision</td>
<td>0.29.1+rocm7.2</td>
<td>随 torch 同步</td>
</tr>
<tr>
<td>torchaudio</td>
<td>2.11.0+rocm7.2</td>
<td>随 torch 同步</td>
</tr>
<tr>
<td>triton</td>
<td>3.8.0+git669b31ac.rocm10.1.0</td>
<td>仍为 10.1 构建，残留风险</td>
</tr>
<tr>
<td>numpy / safetensors / av</td>
<td>2.5.4 / 0.8.0 / 19.0.2</td>
<td>—</td>
</tr>
<tr>
<td>ComfyUI</td>
<td>commit 423cbd20（2026-10-30）</td>
<td><code>/home/jay/ComfyUI-AMD/ComfyUI</code></td>
</tr>
<tr>
<td>TP 扩展</td>
<td>comfyui-tp2</td>
<td>日志出现 <code>heads 56-&gt;28</code> 即生效</td>
</tr>
</tbody>
</table>
<h3>模型文件</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>角色</th>
<th>文件</th>
<th style="text-align:right">体积</th>
</tr>
</thead>
<tbody>
<tr>
<td>DiT（生产用）</td>
<td>minimax_h3_fl2va_pruned-w4a8_convrot_pruned</td>
<td style="text-align:right">11.7 GB</td>
</tr>
<tr>
<td>DiT（对照）</td>
<td>minimax_h3_fl2va_pruned_int8_convrot</td>
<td style="text-align:right">20 GB</td>
</tr>
<tr>
<td>文本编码器</td>
<td>qwen3vl_32b_minimax_h3-w4a8_convrot</td>
<td style="text-align:right">26 GB</td>
</tr>
<tr>
<td>视频 VAE</td>
<td>Minimax_h3_video_vae_fp16</td>
<td style="text-align:right">4.9 GB</td>
</tr>
<tr>
<td>音频 VAE</td>
<td>Minimax_H3_fp32_audio_vae</td>
<td style="text-align:right">578 MB</td>
</tr>
<tr>
<td>LoRA</td>
<td>minimax_h3_turbo_v4_step600_ema_pruned_comfyui</td>
<td style="text-align:right">592 MB</td>
</tr>
</tbody>
</table>
<h3>环境自检（复现前先跑这三条）</h3>
<pre><code class="language-bash">/opt/rocm-7.2.0/bin/hipconfig --version          # 期望 7.2.26015-fc0010cf6a
/home/jay/ComfyUI-AMD/venv/bin/python -m pip list | grep -E "^(torch|triton)"
# 期望 torch 2.14.1+rocm7.2
/home/jay/ComfyUI-AMD/venv/bin/python attn_path_bench.py   # 期望 seq=8192 单次 ≤200 ms
</code></pre>
<p dir="auto">若出现 <code>hipErrorInvalidImage</code> 或单次注意力 &gt; 800 ms，说明内核与运行时再次错配，执行回退。</p>
<hr />
<h2>07 复现步骤与期望值</h2>
<p dir="auto">所有命令在 <code>/home/jay/tp2</code> 下执行。前置：<code>strata.service</code> 为 active（日常双卡态）。</p>
<pre><code class="language-bash"># 通用启动
COMFY=/home/jay/ComfyUI-AMD/ComfyUI \
PY=/home/jay/ComfyUI-AMD/venv/bin/python \
EXTRA_ARGS="--enable-dynamic-vram --use-ck-attention --mmap-torch-files --disable-smart-memory" \
bash run_tp.sh &lt;world&gt; &lt;base_port&gt; &lt;tag&gt;

# 收尾（必须执行，恢复日常态）
pkill -f "port &lt;base_port&gt;"
bash /home/jay/strata/scripts/gpu-mode.sh release --reason "bench done"
</code></pre>
<h3>通用 bench 模板</h3>
<pre><code class="language-bash">/home/jay/sglang-venv/bin/python bench.py \
  --ports &lt;port&gt; --outdirs logs/&lt;tag&gt;/o --timings logs/&lt;tag&gt;/t.json \
  --unet minimax_h3_fl2va_pruned-w4a8_convrot_pruned.safetensors \
  --clip qwen3vl_32b_minimax_h3-w4a8_convrot.safetensors \
  --vae Minimax_h3_video_vae_fp16.safetensors \
  --audio-vae Minimax_H3_fp32_audio_vae.safetensors \
  --lora minimax_h3_turbo_v4_step600_ema_pruned_comfyui.safetensors \
  --width &lt;W&gt; --height &lt;H&gt; --frames &lt;F&gt; --steps &lt;N&gt; --seed &lt;S&gt; \
  --tag &lt;tag&gt; --result logs/&lt;tag&gt;/r.json
</code></pre>
<h3>场景与期望值</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>场景</th>
<th>参数</th>
<th style="text-align:right">期望 s/it</th>
<th style="text-align:right">期望端到端</th>
<th style="text-align:right">峰值</th>
</tr>
</thead>
<tbody>
<tr>
<td>S1 注意力自检</td>
<td>attn_path_bench.py</td>
<td style="text-align:right">≤200 ms/次</td>
<td style="text-align:right">—</td>
<td style="text-align:right">—</td>
</tr>
<tr>
<td>S2 0.4 MP / 15 s / 8 步 / 单卡</td>
<td>832×480, 362f, seed 201</td>
<td style="text-align:right">53.7 ±10%</td>
<td style="text-align:right">517 s ±15%</td>
<td style="text-align:right">20.0 GB</td>
</tr>
<tr>
<td>S3 0.4 MP / 15 s / 8 步 / TP2</td>
<td>同上，双卡端口</td>
<td style="text-align:right">31.9 ±10%</td>
<td style="text-align:right">≈4.3 min</td>
<td style="text-align:right">—</td>
</tr>
<tr>
<td>S4 1 MP / 15 s / 2 步 / TP2</td>
<td>1344×768, 362f</td>
<td style="text-align:right">112.3 ±10%</td>
<td style="text-align:right">3:44 采样</td>
<td style="text-align:right">未测</td>
</tr>
<tr>
<td>S5 1 MP / 15 s / 2 步 / 单卡</td>
<td>同上</td>
<td style="text-align:right">257.9 ±10%</td>
<td style="text-align:right">662 s</td>
<td style="text-align:right">≤23.9 GB</td>
</tr>
<tr>
<td>S6 热启动</td>
<td>同实例第二条，换 seed</td>
<td style="text-align:right">—</td>
<td style="text-align:right">81.3 s（-49%）</td>
<td style="text-align:right">—</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>测量陷阱</strong>：同 seed 重复提交会命中 ComfyUI 节点缓存，得到 7.1 s 的假加速（F8）。所有对比必须换 seed。</p>
<hr />
<h2>08 回退与环境还原</h2>
<pre><code class="language-bash">SP=/home/jay/ComfyUI-AMD/venv/lib/python3.12/site-packages
B=/home/jay/ComfyUI-AMD/backup_whlnext_20261113
rm -rf $SP/torch $SP/torchvision $SP/torchaudio $SP/triton
cp -a $B/torch $B/torchvision $B/torchaudio $B/triton $B/*.dist-info $SP/
</code></pre>
<p dir="auto">去掉 <code>--use-ck-attention</code> 等参数启动即回到原始路径（会退回 sub_quad，速度约为当前的 1/6）。</p>
<hr />
<h2>附：数据来源与口径</h2>
<ul>
<li>
<p dir="auto">数据来源：本机 2026-11-13 实测日志（<code>/home/jay/tp2/logs/</code>）。</p>
</li>
<li>
<p dir="auto">图中"推算"项已标注：TP2 + 4 步的端到端为采样实测 + 冷启动开销推算，非整条实测。</p>
</li>
<li>
<p dir="auto">未验证项：640×368 / 362 帧在 kitchen 下的数字未重测；1 MP 的 4 步为外推。</p>
</li>
</ul>
]]></description><link>https://lcz.me/topic/3035</link><generator>RSS for Node</generator><lastBuildDate>Thu, 19 Nov 2026 00:24:25 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/3035.rss" rel="self" type="application/rss+xml"/><pubDate>Fri, 13 Nov 2026 11:58:34 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Wed, 18 Nov 2026 17:43:53 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/6cccccc" aria-label="Profile: 6cccccc">@<bdi>6cccccc</bdi></a> <a href="/post/34377">说</a>:</p>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/enigma" aria-label="Profile: Enigma">@<bdi>Enigma</bdi></a>  我还传不了图，我用h3感觉没啥问题，目测的话。moss我刚刚试用了一下，sol这个用同样种子出的图跟int8的比较来说根本看不了。不知道哪里出问题了</p>
</blockquote>
<p dir="auto">我传了视频，你可以去看看 <a href="https://lcz.me/topic/3189">https://lcz.me/topic/3189</a></p>
]]></description><link>https://lcz.me/post/34470</link><guid isPermaLink="true">https://lcz.me/post/34470</guid><dc:creator><![CDATA[Enigma]]></dc:creator><pubDate>Wed, 18 Nov 2026 17:43:53 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Wed, 18 Nov 2026 09:43:43 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/enigma" aria-label="Profile: Enigma">@<bdi>Enigma</bdi></a>  我还传不了图，我用h3感觉没啥问题，目测的话。moss我刚刚试用了一下，sol这个用同样种子出的图跟int8的比较来说根本看不了。不知道哪里出问题了</p>
]]></description><link>https://lcz.me/post/34377</link><guid isPermaLink="true">https://lcz.me/post/34377</guid><dc:creator><![CDATA[6cccccc]]></dc:creator><pubDate>Wed, 18 Nov 2026 09:43:43 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Wed, 18 Nov 2026 09:01:13 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/6cccccc" aria-label="Profile: 6cccccc">@<bdi>6cccccc</bdi></a> <a href="/post/34306">说</a>:</p>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/enigma" aria-label="Profile: Enigma">@<bdi>Enigma</bdi></a> 我让hy4 flash查看了一下，说sol_attn虽然更快，但是精度上要比int8差，不知道实际出片的时候是什么样的</p>
</blockquote>
<p dir="auto">两张样片 + 一张左右对照（左 = kitchen int8，右 = sol）<br />
<img src="https://upload.lcz.me/uploads/429dc689-5c20-4698-943e-adf6512936a6.png" alt="side_int8_sol.png" class="img-markdown  img-fluid" /></p>
<p dir="auto">感觉SOL更好，有没有？</p>
]]></description><link>https://lcz.me/post/34367</link><guid isPermaLink="true">https://lcz.me/post/34367</guid><dc:creator><![CDATA[Enigma]]></dc:creator><pubDate>Wed, 18 Nov 2026 09:01:13 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Wed, 18 Nov 2026 06:02:01 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiongjie-gao" aria-label="Profile: xiongjie-gao">@<bdi>xiongjie-gao</bdi></a> 行，我一会也试试</p>
]]></description><link>https://lcz.me/post/34316</link><guid isPermaLink="true">https://lcz.me/post/34316</guid><dc:creator><![CDATA[6cccccc]]></dc:creator><pubDate>Wed, 18 Nov 2026 06:02:01 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Wed, 18 Nov 2026 05:50:56 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/6cccccc" aria-label="Profile: 6cccccc">@<bdi>6cccccc</bdi></a> 昨天跑了样片，因为太晚了没时间整理<br />
今晚整理出来<br />
从我观感看来，这个损失可以接受，几乎看不出画面质量的区别。</p>
]]></description><link>https://lcz.me/post/34312</link><guid isPermaLink="true">https://lcz.me/post/34312</guid><dc:creator><![CDATA[xiongjie gao]]></dc:creator><pubDate>Wed, 18 Nov 2026 05:50:56 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Wed, 18 Nov 2026 05:33:08 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/enigma" aria-label="Profile: Enigma">@<bdi>Enigma</bdi></a> 我让hy4 flash查看了一下，说sol_attn虽然更快，但是精度上要比int8差，不知道实际出片的时候是什么样的</p>
]]></description><link>https://lcz.me/post/34306</link><guid isPermaLink="true">https://lcz.me/post/34306</guid><dc:creator><![CDATA[6cccccc]]></dc:creator><pubDate>Wed, 18 Nov 2026 05:33:08 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Wed, 18 Nov 2026 03:06:35 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiongjie-gao" aria-label="Profile: xiongjie-gao">@<bdi>xiongjie-gao</bdi></a> <a href="/post/34190">说</a>:</p>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/enigma" aria-label="Profile: Enigma">@<bdi>Enigma</bdi></a> 你的报告把这项目又推到了更夸张的提升。</p>
<h2>结论先给</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>指标</th>
<th>数值</th>
<th>含义</th>
</tr>
</thead>
<tbody>
<tr>
<td>SOL 单次注意力 vs kitchen int8</td>
<td><strong>3.5–4.1×</strong></td>
<td>本机 microbench，S=15k/23k/38.5k</td>
</tr>
<tr>
<td>SOL 端到端折算</td>
<td><strong>1.5–2.0×</strong></td>
<td>0.4 MP 1.54×，1 MP ~2.0×（按注意力占比）</td>
</tr>
<tr>
<td>卡间实测带宽</td>
<td><strong>5.00 GB/s</strong></td>
<td>本机 Gen3 x8 是瓶颈（理论上限 7.88，效率 63%）</td>
</tr>
<tr>
<td>换 x16 板后</td>
<td><strong>10.30 GB/s</strong></td>
<td>X99-T8 类，同 CPU 同 root port，只差 lane 数</td>
</tr>
<tr>
<td>TP2 每步通信暴露</td>
<td><strong>4.0 s/it</strong></td>
<td>32.7 − 57.4/2，占 TP2 单步 12.2%</td>
</tr>
<tr>
<td>并表后总加速</td>
<td><strong>10.5 → 11.9 → 12.5×</strong></td>
<td>+SOL → 再加 P2P；单条 3.3 → 2.90 → 2.76 min</td>
</tr>
</tbody>
</table>
<p dir="auto">一句话：<strong>真正的大头是 SOL 注意力，不是卡间带宽</strong>。SOL 把单次注意力压到 1/3.5–1/4.1，端到端（外部同构实测 1.23×）就能把总账从 10.5× 推到 11.9×；P2P 只值 6–12%，且要换主板。</p>
</blockquote>
<p dir="auto"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f44d.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--+1" style="height:1.4em;width:auto;vertical-align:middle" title=":+1:" alt="👍" /> <img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f44d.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--+1" style="height:1.4em;width:auto;vertical-align:middle" title=":+1:" alt="👍" /> <img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f44d.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--+1" style="height:1.4em;width:auto;vertical-align:middle" title=":+1:" alt="👍" /></p>
]]></description><link>https://lcz.me/post/34271</link><guid isPermaLink="true">https://lcz.me/post/34271</guid><dc:creator><![CDATA[Enigma]]></dc:creator><pubDate>Wed, 18 Nov 2026 03:06:35 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Tue, 17 Nov 2026 17:00:32 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/enigma" aria-label="Profile: Enigma">@<bdi>Enigma</bdi></a> 你的报告把这项目又推到了更夸张的提升。</p>
<h2>结论先给</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>指标</th>
<th>数值</th>
<th>含义</th>
</tr>
</thead>
<tbody>
<tr>
<td>SOL 单次注意力 vs kitchen int8</td>
<td><strong>3.5–4.1×</strong></td>
<td>本机 microbench，S=15k/23k/38.5k</td>
</tr>
<tr>
<td>SOL 端到端折算</td>
<td><strong>1.5–2.0×</strong></td>
<td>0.4 MP 1.54×，1 MP ~2.0×（按注意力占比）</td>
</tr>
<tr>
<td>卡间实测带宽</td>
<td><strong>5.00 GB/s</strong></td>
<td>本机 Gen3 x8 是瓶颈（理论上限 7.88，效率 63%）</td>
</tr>
<tr>
<td>换 x16 板后</td>
<td><strong>10.30 GB/s</strong></td>
<td>X99-T8 类，同 CPU 同 root port，只差 lane 数</td>
</tr>
<tr>
<td>TP2 每步通信暴露</td>
<td><strong>4.0 s/it</strong></td>
<td>32.7 − 57.4/2，占 TP2 单步 12.2%</td>
</tr>
<tr>
<td>并表后总加速</td>
<td><strong>10.5 → 11.9 → 12.5×</strong></td>
<td>+SOL → 再加 P2P；单条 3.3 → 2.90 → 2.76 min</td>
</tr>
</tbody>
</table>
<p dir="auto">一句话：<strong>真正的大头是 SOL 注意力，不是卡间带宽</strong>。SOL 把单次注意力压到 1/3.5–1/4.1，端到端（外部同构实测 1.23×）就能把总账从 10.5× 推到 11.9×；P2P 只值 6–12%，且要换主板。</p>
]]></description><link>https://lcz.me/post/34190</link><guid isPermaLink="true">https://lcz.me/post/34190</guid><dc:creator><![CDATA[xiongjie gao]]></dc:creator><pubDate>Tue, 17 Nov 2026 17:00:32 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Tue, 17 Nov 2026 15:00:44 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/enigma" aria-label="Profile: Enigma">@<bdi>Enigma</bdi></a> 也就是你自己还把int8r换成了sol<br />
生成速度提升 1.99× / 4.17× （per-step）<br />
端到端 1.60–2.64×</p>
]]></description><link>https://lcz.me/post/34171</link><guid isPermaLink="true">https://lcz.me/post/34171</guid><dc:creator><![CDATA[xiongjie gao]]></dc:creator><pubDate>Tue, 17 Nov 2026 15:00:44 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Tue, 17 Nov 2026 14:46:25 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiongjie-gao" aria-label="Profile: xiongjie-gao">@<bdi>xiongjie-gao</bdi></a> <a href="/post/33433">说</a>:</p>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a> 学文爷，把挨嘴把子当学费。<br />
疼，但不致命。平平安安活到八十。</p>
</blockquote>
<p dir="auto">抄作业交卷：2×7900XTX 上把你的 3035 复现了一遍。单卡 6% 内对上，双卡要改你两行代码，另外顺手发现 sol 比 int8 还能再快一倍多。</p>
<p dir="auto">先认个错，我这台的数和你的不是一组：DiT 是 <code>Minimax-h3_Singularity_ref2va_v2_Pruned_w4a8</code>（12.55 GB，你的是 fl2va w4a8 11.7 GB）、TE 是 <code>qwen3vl_32b_minimax_h3_nvfp4_awq</code>（15.69 GB，你的 w4a8 是 26 GB）、LoRA 是 <code>minimax_h3_dmd_ref2va_8step_turbo_pruned</code>（你那个 turbo_v4_step600 在我们机器上是坏链接）、CPU 是 5950X 不是 E5-2696v4、两卡到 CPU 还是 x8。所以下面只比同档位的比值和你给的验收线。</p>
<h2>一、单卡：你的三档，我们都在 6% 内</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>档</th>
<th>你的</th>
<th>我们</th>
</tr>
</thead>
<tbody>
<tr>
<td>832×480·124f·8 步 单卡</td>
<td>11.235 s/it</td>
<td><strong>10.564</strong>（端到端 109.2 s）</td>
</tr>
<tr>
<td>832×480·362f·8 步 单卡</td>
<td>53.7，显存 19.96 GB</td>
<td><strong>50.78</strong>，20.01 GB</td>
</tr>
<tr>
<td>1344×768·362f·2 步 单卡</td>
<td>257.9，显存 23.82 GB</td>
<td><strong>251.90</strong>，23.84 GB</td>
</tr>
</tbody>
</table>
<p dir="auto">（用的是你 kuzuryusen 仓库里那个 <code>bench.py</code> + <code>run_tp.sh</code>，只换了权重名和端口。）</p>
<h2>二、你 1050% 里最大的那层（F1），我们这台没有</h2>
<p dir="auto">我们 venv 里是 torch 2.15.0+rocm7.14，<code>/opt</code> 里躺着 7.2.3 / 7.13.0 / 10.1 —— 按 F1 的说法这叫"看着就该坏"。但 S1 探针是健康的：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>路径</th>
<th>4096</th>
<th>8192</th>
<th>16384</th>
</tr>
</thead>
<tbody>
<tr>
<td>pytorch（SDPA）</td>
<td>13.2</td>
<td>85.3</td>
<td><strong>1164.4</strong></td>
</tr>
<tr>
<td>kitchen int8</td>
<td>6.4</td>
<td>24.7</td>
<td><strong>93.3</strong></td>
</tr>
<tr>
<td>kitchen sol</td>
<td>2.3</td>
<td>7.4</td>
<td><strong>25.3</strong></td>
</tr>
<tr>
<td>basic（默认）</td>
<td>19.8</td>
<td>77.3</td>
<td>OOM（要 28.00 GiB）</td>
</tr>
</tbody>
</table>
<p dir="auto">所以 F1 的正确用法是"用 S1 去证"，不是看版本号猜 —— 这点你帖里已经写了，我只是补一个反例：<strong>版本不同源不等于内核坏</strong>。</p>
<p dir="auto">顺带一个建议：<strong>你那条 200 ms 的线，建议挪到 16384。</strong> 我们这台 SDPA 在 8192 只有 85 ms（过线），到 16384 是 1164 ms（×13.7，长度翻倍平方该 ×4）—— 8192 上是"假健康"。真实序列（1344×768·294f ≈ 30 万 token）比 16384 还远。</p>
<h2>三、双卡：p2p 只值 1%，真原因是 <code>split_state_dict</code> 取裸 key</h2>
<p dir="auto">原样跑，三档全是负的：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>档</th>
<th>原样双卡</th>
<th>相对单卡</th>
<th>你的</th>
</tr>
</thead>
<tbody>
<tr>
<td>832×480·124f·8</td>
<td>11.95 s/it</td>
<td><strong>0.88×</strong></td>
<td>7.618（1.47×）</td>
</tr>
<tr>
<td>832×480·362f·8</td>
<td>54.20</td>
<td><strong>0.94×</strong></td>
<td>31.9（1.68×）</td>
</tr>
<tr>
<td>1344×768·362f·2</td>
<td>257.78</td>
<td><strong>0.98×</strong></td>
<td>112.3（2.30×）</td>
</tr>
</tbody>
</table>
<p dir="auto">先按你的路子走了一遍 p2p：装 <code>p2p_force</code>、按你这台的真实 sysfs 拓扑生成 <code>NCCL_TOPO_FILE</code>（<code>2e:00.0 → 2f:00.0/32:00.0</code>）、重启后 <code>isAllDirectP2p 1</code>、通道 <code>via P2P/IPC</code>、你自己的 bootcheck 也 <code>[OK] KFD 链路 2</code>。<strong>只快 1%</strong>（11.99→11.95、54.20→53.59）。传输不是瓶颈。</p>
<p dir="auto">真原因在 <code>comfyui-tp2/__init__.py</code> 的 <code>split_state_dict()</code> 开头：</p>
<pre><code class="language-python">qkv = sd.get("blocks.0.attn.qkv_proj.weight")     # 取不到 → return sd，静默、不切
hd  = sd.get("blocks.0.attn.q_norm.weight")
if qkv is None or hd is None:
    return sd
</code></pre>
<p dir="auto">我们这个 w4a8 检查点 <strong>1333 个 key 里 1332 个带 <code>model.diffusion_model.</code> 前缀，裸 key 0 个</strong> → 每次都静默 return。于是两卡各算<strong>整个</strong>模型，每步 450 次 all_reduce / 15.1 GB；10.564 + 1.4 ≈ 11.95，一分不差。</p>
<p dir="auto">把取 key 改成允许 <code>""</code> / <code>model.diffusion_model.</code> / <code>diffusion_model.</code> 三种前缀（就那两行），立刻听到：</p>
<pre><code>[tp2] rank0 state_dict split: heads 56-&gt;28, keys 1332
</code></pre>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>档</th>
<th>切了之后</th>
<th>相对单卡</th>
<th>每卡显存</th>
</tr>
</thead>
<tbody>
<tr>
<td>832×480·124f·8</td>
<td><strong>6.539 s/it</strong>，端到端 79.2 s</td>
<td>1.61×</td>
<td>23.74 GB</td>
</tr>
<tr>
<td>1344×768·362f·2</td>
<td><strong>131.66 s/it</strong>，端到端 370.4 s</td>
<td><strong>1.91×</strong></td>
<td><strong>17.60 GB</strong>（−6.2）</td>
</tr>
</tbody>
</table>
<p dir="auto">LoRA 那 208 个 shape 错也一起没了（模型切了，切过的 LoRA 就对上了）。</p>
<p dir="auto"><strong>但有个必须说清的</strong>：切了不等于单卡那一张。整帧 mean|Δ| <strong>16.5/255</strong>（结构 14.7）；参照是换 seed 重采 34.1、没切 54.8、同配置两次 0.00。全局统计一致（mean RGB 107/103/95 vs 110/103/94，std 66.8 vs 67.2）——<strong>不是坏图，但不是你验收表里的 <code>max_abs_diff = 0</code></strong>。</p>
<p dir="auto">原因大概在格式：我们是打包 I8（<code>qkv [21504,2688]</code>、<code>fc1 [28672,2688]</code>，头部没有 <code>_quantization_metadata</code>），你依赖的是 <code>comfy_quant</code> + codebook。<strong>打包 I8 按 K 对半切合不合法，得你判</strong> —— 我只能给"快是真的"。</p>
<h2>四、彩蛋：sol_attn 比 int8 快，而且 1MP 单卡就够</h2>
<p dir="auto">你 S1 表里 kitchen 只有 int8。但 <code>attention.py</code> 里还有 <code>comfy_kitchen_sol</code>（config 写 <code>"attention": "comfy_kitchen_sol"</code>；节点下拉里没有，得自己 <code>set_model_optimized_attention</code>）。16k 上它是 int8 的 3.7×。</p>
<p dir="auto">搬进流水线（tau=1.0、seed 145、每档冷启动、其余开关不动、权重与上表相同）：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>档</th>
<th>kitchen int8</th>
<th>sol</th>
<th>s/it</th>
</tr>
</thead>
<tbody>
<tr>
<td>832×480·124f·8 单卡</td>
<td>10.53 / 108.2 s</td>
<td><strong>8.09</strong> / 87.2 s</td>
<td>1.30×</td>
</tr>
<tr>
<td>832×480·124f·8 TP2</td>
<td>6.55 / 77.6 s</td>
<td><strong>5.32</strong> / 68.4 s</td>
<td>1.23×</td>
</tr>
<tr>
<td>832×480·362f·8 单卡</td>
<td>50.78 / 455.6 s</td>
<td><strong>28.96</strong> / 280.5 s</td>
<td>1.75×</td>
</tr>
<tr>
<td>1344×768·362f·2 单卡</td>
<td>250.58 / 596.8 s</td>
<td><strong>105.00</strong> / 312.5 s</td>
<td><strong>2.39×</strong></td>
</tr>
<tr>
<td>1344×768·362f·2 TP2</td>
<td>132.40 / 367.6 s</td>
<td><strong>60.47</strong> / 226.3 s</td>
<td>2.19×</td>
</tr>
</tbody>
</table>
<p dir="auto">三句话：</p>
<ol>
<li><strong>序列越长赢越多</strong>（1.2× → 2.4×），和你 S1 里 16k 那格的形态一致。</li>
<li><strong>1MP 不用 TP2 了</strong>：单卡 sol 105.0 s/it，比 int8 双卡 132.4 还快，也接近你双卡的 112.3。代价是显存：0.4MP·362f 从 20.01 涨到 23.83（+3.8 GB），1MP 单卡仍装得下（23.83，没 OOM）。</li>
<li>输出约等于换一次 seed（30.5/255），是另一张同题图，不是坏图。</li>
</ol>
<h2>五、想请你判两件事</h2>
<ol>
<li>打包 I8 按 K 对半切（<code>qkv [21504,2688]</code> → 每卡 <code>[10752,2688]</code>）合不合法？如果不合法，我们那 1.91× 就只能当"能跑但别用"。</li>
<li>sol 在你那套权重/环境上能不能也复现 2.4×？能的话，你 S4 的 112.3 大概还能再对半一次。</li>
</ol>
<p dir="auto">代码我可以直接开 PR：<code>split_state_dict</code> 的后缀匹配 + 一个 18 行的 <code>MiniMaxSOLAttention</code> 节点（<code>set_model_optimized_attention(partial(attention_comfy_kitchen_sol, tau=1.0))</code>），要不要？</p>
]]></description><link>https://lcz.me/post/34166</link><guid isPermaLink="true">https://lcz.me/post/34166</guid><dc:creator><![CDATA[Enigma]]></dc:creator><pubDate>Tue, 17 Nov 2026 14:46:25 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Tue, 17 Nov 2026 06:47:30 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiongjie-gao" aria-label="Profile: xiongjie-gao">@<bdi>xiongjie-gao</bdi></a> 几天没来，又出了如此精品作业啊，苏妈的offer正飞奔过来...我再考虑要不要再屯一张7900</p>
]]></description><link>https://lcz.me/post/34081</link><guid isPermaLink="true">https://lcz.me/post/34081</guid><dc:creator><![CDATA[Enigma]]></dc:creator><pubDate>Tue, 17 Nov 2026 06:47:30 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Sun, 15 Nov 2026 03:39:06 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a> 学文爷，把挨嘴把子当学费。<br />
疼，但不致命。平平安安活到八十。</p>
]]></description><link>https://lcz.me/post/33433</link><guid isPermaLink="true">https://lcz.me/post/33433</guid><dc:creator><![CDATA[xiongjie gao]]></dc:creator><pubDate>Sun, 15 Nov 2026 03:39:06 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Sun, 15 Nov 2026 02:07:22 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiongjie-gao" aria-label="Profile: xiongjie-gao">@<bdi>xiongjie-gao</bdi></a> 真男人既要能在特殊时刻，效仿徐爷。也要能找到闲暇时刻，和白爷一样逍遥洒脱。当然了，和文爷一样，是大多数人的日常，也要甘之如饴。</p>
]]></description><link>https://lcz.me/post/33419</link><guid isPermaLink="true">https://lcz.me/post/33419</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sun, 15 Nov 2026 02:07:22 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Sun, 15 Nov 2026 01:35:41 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a href="/user/terry">@terry</a> <a href="/post/33407">说</a>:</p>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiongjie-gao" aria-label="Profile: xiongjie-gao">@<bdi>xiongjie-gao</bdi></a> 我弟你怎么和我的爱好如此重叠。这片子我可老爱看了，特别是徐爷的人生轨迹，为国拼杀，结果牢底坐穿。他给文三买了一辆车，尽显重情重义。文三去下馆子，后来石头片子蘸醋下酒，也是名场面。这个片段是白爷捞自助的段子吧。</p>
</blockquote>
<p dir="auto">哈哈哈哈哈哈哈哈对<br />
白爷在捞瞪眼食儿ദ്ദി˶•̀֊•́)✧</p>
]]></description><link>https://lcz.me/post/33409</link><guid isPermaLink="true">https://lcz.me/post/33409</guid><dc:creator><![CDATA[xiongjie gao]]></dc:creator><pubDate>Sun, 15 Nov 2026 01:35:41 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Sun, 15 Nov 2026 01:30:04 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiongjie-gao" aria-label="Profile: xiongjie-gao">@<bdi>xiongjie-gao</bdi></a> 我弟你怎么和我的爱好如此重叠。这片子我可老爱看了，特别是徐爷的人生轨迹，为国拼杀，结果牢底坐穿。他给文三买了一辆车，尽显重情重义。文三去下馆子，后来石头片子蘸醋下酒，也是名场面。这个片段是白爷捞自助的段子吧。</p>
]]></description><link>https://lcz.me/post/33407</link><guid isPermaLink="true">https://lcz.me/post/33407</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sun, 15 Nov 2026 01:30:04 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Sun, 15 Nov 2026 01:36:18 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a href="/user/kos-or">@kos or</a> <a href="/post/33399">说</a>:<br />
杰杰他都這麼帥了 還失真喔 地球上又帥又會玩7900 XTX 24G的人可是鳳毛麟角 但都集中在我們的論壇上</p>
</blockquote>
<p dir="auto"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f602.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--joy" style="height:1.4em;width:auto;vertical-align:middle" title=":joy:" alt="😂" />莫嫖我了老哥</p>
]]></description><link>https://lcz.me/post/33404</link><guid isPermaLink="true">https://lcz.me/post/33404</guid><dc:creator><![CDATA[xiongjie gao]]></dc:creator><pubDate>Sun, 15 Nov 2026 01:36:18 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Sun, 15 Nov 2026 00:56:35 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a> <a href="/post/33305">said</a>:</p>
<p dir="auto">其实有些失真，我弟帅的是阳刚之气</p>
</blockquote>
<p dir="auto">杰杰他都這麼帥了 還失真喔 <img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f635.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--dizzy_face" style="height:1.4em;width:auto;vertical-align:middle" title=":dizzy_face:" alt="😵" /><br />
地球上又帥又會玩7900 XTX 24G的人可是鳳毛麟角<br />
但都集中在我們的論壇上 <img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f601.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--grin" style="height:1.4em;width:auto;vertical-align:middle" title=":grin:" alt="😁" /></p>
]]></description><link>https://lcz.me/post/33399</link><guid isPermaLink="true">https://lcz.me/post/33399</guid><dc:creator><![CDATA[kos or]]></dc:creator><pubDate>Sun, 15 Nov 2026 00:56:35 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Sat, 14 Nov 2026 16:49:11 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/ericyancw" aria-label="Profile: ericyancw">@<bdi>ericyancw</bdi></a><br />
<img src="https://upload.lcz.me/uploads/7bd19443-f79b-49e1-9157-5e7a2dad50ef.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto">净捞干的，还是个大的，哈哈哈哈恭喜恭喜</p>
]]></description><link>https://lcz.me/post/33342</link><guid isPermaLink="true">https://lcz.me/post/33342</guid><dc:creator><![CDATA[xiongjie gao]]></dc:creator><pubDate>Sat, 14 Nov 2026 16:49:11 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Sat, 14 Nov 2026 16:39:27 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiongjie-gao" aria-label="Profile: xiongjie-gao">@<bdi>xiongjie-gao</bdi></a> <a href="/post/33333">说</a>:</p>
<p dir="auto">啊，原来你之前也是没有做过ck attention这块的优化，那就属于直接捞了个最大的优化权重。ദ്ദി˶•̀֊•́)</p>
</blockquote>
<p dir="auto">是的，感谢大佬！<br />
之前一直没发现这个问题，当时就是感觉能跑 但一步要跑几分钟，所以头大。</p>
]]></description><link>https://lcz.me/post/33336</link><guid isPermaLink="true">https://lcz.me/post/33336</guid><dc:creator><![CDATA[ericyancw]]></dc:creator><pubDate>Sat, 14 Nov 2026 16:39:27 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Sat, 14 Nov 2026 16:31:45 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a href="/user/ericyancw">@ericyancw</a> <a href="/post/33332">说</a>:</p>
<p dir="auto">单卡 R9700 32G 跑 MiniMax-H3优化效果：每步从 353 秒到 114 秒 近期一直在搞R9700的Comfyui，搞得有点崩溃，我之前1344×768像素下，测出来的效果一直是每步 353 秒左右，做视频很痛苦。跟着大佬的帖子，让Agent梳理了下，目前提升到114秒 环境 项 对齐前 对齐后 GPU AMD Radeon AI PRO R9700 32 GB（gfx1201…</p>
</blockquote>
<p dir="auto">啊，原来你之前也是没有做过ck attention这块的优化，那就属于直接捞了个最大的优化权重。ദ്ദി˶•̀֊•́)✧</p>
]]></description><link>https://lcz.me/post/33333</link><guid isPermaLink="true">https://lcz.me/post/33333</guid><dc:creator><![CDATA[xiongjie gao]]></dc:creator><pubDate>Sat, 14 Nov 2026 16:31:45 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Sat, 14 Nov 2026 16:26:49 GMT]]></title><description><![CDATA[<h1>单卡 R9700 32G 跑 MiniMax-H3优化效果：每步从 353 秒到 114 秒</h1>
<p dir="auto">近期一直在搞R9700的Comfyui，搞得有点崩溃，我之前1344×768像素下，测出来的效果一直是每步 353 秒左右，做视频很痛苦。跟着大佬的帖子，让Agent梳理了下，目前提升到114秒</p>
<h2>环境</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项</th>
<th>对齐前</th>
<th>对齐后</th>
</tr>
</thead>
<tbody>
<tr>
<td>GPU</td>
<td>AMD Radeon AI PRO R9700 32 GB（gfx1201）</td>
<td>同左（未变）</td>
</tr>
<tr>
<td>系统 ROCm</td>
<td>7.2.53211</td>
<td>7.2.53211（未变）</td>
</tr>
<tr>
<td>venv 里的 torch</td>
<td>2.10.0+rocm7.0</td>
<td><strong>2.11.0+rocm7.2</strong></td>
</tr>
<tr>
<td><code>torch.version.hip</code></td>
<td>7.0.51831</td>
<td><strong>7.2.26015</strong></td>
</tr>
<tr>
<td>torchvision</td>
<td>0.25.0+rocm7.0</td>
<td><strong>0.26.0+rocm7.2</strong></td>
</tr>
<tr>
<td>torchaudio</td>
<td>2.10.0+rocm7.0</td>
<td><strong>2.11.0+rocm7.2</strong></td>
</tr>
<tr>
<td>ComfyUI</td>
<td>0.41.0</td>
<td>0.41.0（未变）</td>
</tr>
<tr>
<td>comfy_kitchen</td>
<td>0.2.38</td>
<td>0.2.38（未变）</td>
</tr>
<tr>
<td>权重</td>
<td>主模型 <code>ref2va_pruned-w4a8</code> 12 GB + 编码器 <code>qwen3vl_32b-int4</code> 13.5 GB + VAE 5 GB ≈ 31 GB</td>
<td>同左（未变）</td>
</tr>
<tr>
<td>出图规格</td>
<td>1344×768（1.03 MP）/ 294 帧 @ 24 fps = 12.25 秒 / 参考图 6 张（ref2v）</td>
<td>同左（未变）</td>
</tr>
<tr>
<td>启动参数</td>
<td>无额外开关</td>
<td><code>--use-ck-attention --disable-smart-memory</code></td>
</tr>
</tbody>
</table>
<p dir="auto">对齐前 torch 与系统 ROCm 分属 7.0 与 7.2（同大版本、次版本不同）；对齐后两端均为 7.2。</p>
<h2>之前的问题：</h2>
<ol>
<li><strong>comfy_kitchen 0.2.38 其实早就装好了。</strong> <code>int8_attention_is_available()</code> 在 R9700 上返回 <strong>True</strong>，HIP 后端也注册成功（<code>backend hip: {'available': True, 'disabled': False}</code>）。</li>
<li><strong>但 ComfyUI 一直没带 <code>--use-ck-attention</code> 启动</strong>，所以跑的一直是兜底路径。日志原话：<code>[INFO] Using pytorch attention</code>。</li>
<li>每步 353 秒就是这个兜底路径下的数字。作为参照，社区在 832×480 / 362 帧 / 8 步上测到 sub_quad 259 秒/步、CK 50.1 秒/步（外部数据，仅作量级参考）——353 秒与 sub_quad 那一档处于同一量级，而不是 CK 档。</li>
</ol>
<p dir="auto">加上开关后日志变成：</p>
<pre><code>[INFO] Found comfy_kitchen backend hip: {'available': True, 'disabled': False, ...}
[INFO] Using Comfy Kitchen attention
[INFO] comfy-kitchen version: 0.2.38
</code></pre>
<h2>数据表</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>#</th>
<th>环境</th>
<th>torch / 系统 ROCm</th>
<th>启动参数</th>
<th>注意力后端（日志原文）</th>
<th>步数</th>
<th>每步</th>
<th>采样</th>
<th>端到端</th>
</tr>
</thead>
<tbody>
<tr>
<td>1</td>
<td>之前</td>
<td>2.10.0+rocm7.0（HIP 7.0.51831）/ 7.2.53211</td>
<td>无额外开关</td>
<td><code>Using pytorch attention</code></td>
<td>8</td>
<td><strong>≈353 秒</strong></td>
<td>未跑完</td>
<td>—</td>
</tr>
<tr>
<td>2</td>
<td>现在</td>
<td>同上，未变</td>
<td><code>--use-ck-attention --disable-smart-memory</code></td>
<td><code>Using Comfy Kitchen attention</code></td>
<td>4</td>
<td><strong>114.35 秒</strong></td>
<td>7 分 37 秒</td>
<td><strong>13 分 56 秒</strong></td>
</tr>
<tr>
<td>3</td>
<td>现在</td>
<td>同上，未变</td>
<td>同上</td>
<td>同上</td>
<td>8</td>
<td><strong>114.33 秒</strong></td>
<td><strong>15 分 14 秒</strong></td>
<td><strong>21 分 16 秒</strong></td>
</tr>
<tr>
<td>4</td>
<td>对齐后</td>
<td><strong>2.11.0+rocm7.2（HIP 7.2.26015）/ 7.2.53211</strong></td>
<td>同上</td>
<td>同上</td>
<td>4</td>
<td><strong>114.37 秒</strong></td>
<td>7 分 37 秒</td>
<td>未留存</td>
</tr>
<tr>
<td>5</td>
<td>对齐后</td>
<td>同上</td>
<td><strong>去掉 <code>--use-ck-attention</code></strong>，仅 <code>--disable-smart-memory</code></td>
<td><code>Using pytorch attention</code></td>
<td>4</td>
<td><strong>352.31 秒</strong></td>
<td><strong>23 分 29 秒</strong></td>
<td><strong>29 分 45 秒</strong></td>
</tr>
</tbody>
</table>
<p dir="auto">五行同为 1344×768、294 帧、同一套 int4 权重，差别只在启动开关与 torch 版本。第 2、4 行用 4 步 LoRA，第 3 行用 8 步 LoRA；每步 114.35 / 114.33 / 114.37，说明单步成本与步数、LoRA 档位都无关，也与 torch 版本无关。</p>
<p dir="auto">第 5 行是本轮补的关键对照：<strong>同一套 int4 权重、同一环境，只把 <code>--use-ck-attention</code> 去掉，每步从 114.37 秒回到 352.31 秒（3.08×）</strong>。这说明 3 倍差距完全由这一个开关造成，与其他变量无关。</p>
<p dir="auto">三条同口径结论：</p>
<ul>
<li><strong>单步成本与步数、LoRA 档位无关</strong>：114.35 / 114.33 / 114.37。</li>
<li><strong>单步成本与 torch 小版本无关</strong>：114.35（rocm7.0）对 114.37（rocm7.2）。</li>
<li><strong>单步成本与权重精度档无关</strong>：353（fp8 组）对 352.31（int4 组），同一 SDPA 路径。</li>
</ul>
<h2>横向对照：同分辨率、同后端，单卡 vs 双卡</h2>
<p dir="auto">社区帖（RX 7900 XTX ×2，RDNA3，ROCm 7.2）与本机同分辨率实测并列。社区数据为其帖子表格原文，仅作量级对照；其序列为 362 帧，比本机 294 帧多 23%。</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>机器</th>
<th>显卡</th>
<th>卡数</th>
<th>分辨率 / 帧</th>
<th>注意力后端</th>
<th>每步</th>
</tr>
</thead>
<tbody>
<tr>
<td><strong>本机</strong></td>
<td><strong>R9700 32G（RDNA4）</strong></td>
<td><strong>1</strong></td>
<td>1344×768 / 294</td>
<td><strong>CK</strong></td>
<td><strong>114.37 秒</strong></td>
</tr>
<tr>
<td>社区</td>
<td>7900 XTX 24G（RDNA3）</td>
<td>2（TP2）</td>
<td>1344×768 / 362</td>
<td>CK</td>
<td><strong>112.3 秒</strong></td>
</tr>
<tr>
<td>社区</td>
<td>7900 XTX 24G（RDNA3）</td>
<td>1</td>
<td>1344×768 / 362</td>
<td>CK</td>
<td>257.9 秒</td>
</tr>
<tr>
<td>本机</td>
<td>R9700 32G</td>
<td>1</td>
<td>1344×768 / 294</td>
<td>通用 SDPA</td>
<td>352.4 秒</td>
</tr>
<tr>
<td>社区</td>
<td>7900 XTX 24G</td>
<td>1</td>
<td>1344×768 / 362</td>
<td>sub_quad 兜底</td>
<td>OOM</td>
</tr>
</tbody>
</table>
<p dir="auto">两点可直接引用：</p>
<ol>
<li><strong>一张 R9700 ≈ 两张 7900 XTX 的 TP2</strong>（114.37 对 112.3）。对方是两张卡张量并行，本机是一张卡。</li>
<li><strong>同分辨率单卡对比：114.37 对 257.9，快 2.25×。</strong> 扣掉帧数差（294 对 362，少 19%）折算后仍快约 1.8×。</li>
</ol>
<p dir="auto">低分辨率参照（社区，832×480 / 362 帧）：sub_quad 兜底 259 秒、CK 单卡 53.7 秒、CK TP2 31.9 秒。该档像素仅 0.4 MP，约为本机 1.03 MP 的四成，不能与本机数字直接相比。</p>
<h2>对齐 torch 与系统 ROCm 之后：大版本内的对齐，收益基本没有</h2>
<p dir="auto">先界定这次对齐的性质：venv 里 <code>torch.version.hip</code> 从 <code>7.0.51831</code> 变成 <code>7.2.26015</code>，系统是 <code>7.2.53211</code>，<strong>两端始终在 ROCm 7.x 这同一个大版本内</strong>，只差次版本。属于「大版本内对齐」——ROCm 同大版本保持 ABI 兼容，内核本来就能正常加载，可修的东西几乎没有。</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>对齐类型</th>
<th>典型例子</th>
<th>预期收益</th>
<th>实测</th>
</tr>
</thead>
<tbody>
<tr>
<td><strong>大版本内（本次）</strong></td>
<td>torch 7.0.51831 → 7.2.26015，系统 ROCm 7.2</td>
<td><strong>接近 0，只消除隐患</strong></td>
<td><strong>114.35 → 114.37，+0.02%</strong></td>
</tr>
<tr>
<td>跨大版本</td>
<td>torch +rocm10.1.0 链系统 ROCm 7.2（社区）</td>
<td>高，属修复静默降级</td>
<td>4.8×（259 → 53.7）</td>
</tr>
</tbody>
</table>
]]></description><link>https://lcz.me/post/33332</link><guid isPermaLink="true">https://lcz.me/post/33332</guid><dc:creator><![CDATA[ericyancw]]></dc:creator><pubDate>Sat, 14 Nov 2026 16:26:49 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Sat, 14 Nov 2026 13:56:43 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/kos-or" aria-label="Profile: kos-or">@<bdi>kos-or</bdi></a> 其实有些失真，我弟帅的是阳刚之气。对世俗的不屑一顾。</p>
]]></description><link>https://lcz.me/post/33305</link><guid isPermaLink="true">https://lcz.me/post/33305</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sat, 14 Nov 2026 13:56:43 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Sat, 14 Nov 2026 12:59:17 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a> <a href="/post/33048">said</a>:</p>
<p dir="auto">杰杰拿下库克和Lisa-Su</p>
</blockquote>
<p dir="auto">照片一放大 帥氣許多 <img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f601.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--grin" style="height:1.4em;width:auto;vertical-align:middle" title=":grin:" alt="😁" /></p>
]]></description><link>https://lcz.me/post/33277</link><guid isPermaLink="true">https://lcz.me/post/33277</guid><dc:creator><![CDATA[kos or]]></dc:creator><pubDate>Sat, 14 Nov 2026 12:59:17 GMT</pubDate></item><item><title><![CDATA[Reply to 【34.5 min → 3.3 min】用对注意力机制的2×7900XTX在H3流程中可以提速多少？—— 答案1050％↑ on Sat, 14 Nov 2026 08:51:53 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/leon-y" aria-label="Profile: Leon-Y">@<bdi>Leon-Y</bdi></a> Aimdo是保证高显存占用下不OOM的策略<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f60a.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--blush" style="height:1.4em;width:auto;vertical-align:middle" title=":blush:" alt="😊" /><br />
N卡用户天然就有的用，A卡用户得手搓代码绕着走</p>
]]></description><link>https://lcz.me/post/33239</link><guid isPermaLink="true">https://lcz.me/post/33239</guid><dc:creator><![CDATA[xiongjie gao]]></dc:creator><pubDate>Sat, 14 Nov 2026 08:51:53 GMT</pubDate></item></channel></rss>