<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[抄作業成功 ! 雙卡 RX 7900 XTX 榨乾 Qwen3.8-Flash-Next 256K：Strata  TP decode 130+ tok/s prefill 6020 最新調校指南與無 P2P 性能逆襲]]></title><description><![CDATA[<h1>【分享】雙卡 RX 7900 XTX 榨乾 Qwen3.8-Flash-Next 256K：Strata TP 調校指南與無 P2P 性能逆襲</h1>
<p dir="auto">很多玩本地大模型的朋友都覺得 AMD 顯卡（RDNA3）在多卡張量並行（TP）上生態不如綠廠，尤其是在沒有 NVLink、主板又開不了 P2P DMA 直連的情況下，跨卡延遲往往會把性能吃光。</p>
<p dir="auto">這次在伺服器上實測了兩張 <strong>RX 7900 XTX 24GB</strong>，運行 <strong>Qwen3.8-Flash-Next (IQ3_S 量化 / 256K 超長上下文)</strong>。歷經了跨 IIO Stack 走 Host 轉發、主卡風扇故障（0 RPM）導致 14 秒飆破 115°C 熱跳閘等各種地獄開局，最終透過 Strata 引擎參數重構與 Linux 系統層調優，成功將輸出速度拉到 <strong>110 ~ 125 tok/s</strong>，輸入首字延遲縮短 <strong>23%</strong>，同時把原本狂飆 300W 的主卡功耗壓制到 175W，低溫穩跑！</p>
<p dir="auto">把這套實測調優經驗整理成文，供同樣在折騰 AMD 雙卡跑大模型的朋友參考。</p>
<hr />
<h2><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f5a5.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--desktop_computer" style="height:1.4em;width:auto;vertical-align:middle" title="🖥" alt="🖥" />️ 一、測試硬體規格與拓撲</h2>
<p dir="auto">這是一台 Intel 伺服器平台，雙卡分別插在不同的 PCIe 插槽上：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:left">組件</th>
<th style="text-align:left">規格明細</th>
<th style="text-align:left">備註說明</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left"><strong>主機板</strong></td>
<td style="text-align:left">技嘉 MU72-SU0 (Intel C621A 晶片組)</td>
<td style="text-align:left">支援 PCIe 4.0</td>
</tr>
<tr>
<td style="text-align:left"><strong>處理器</strong></td>
<td style="text-align:left">Intel Xeon Gold (38 核 / 76 執行緒)</td>
<td style="text-align:left">核心數多、單核頻率約 2.4~3.0 GHz</td>
</tr>
<tr>
<td style="text-align:left"><strong>系統記憶體</strong></td>
<td style="text-align:left">128GB DDR4 ECC Registered</td>
<td style="text-align:left">四通道</td>
</tr>
<tr>
<td style="text-align:left"><strong>GPU 0 (主卡)</strong></td>
<td style="text-align:left">AMD Radeon RX 7900 XTX 24GB</td>
<td style="text-align:left">PCIe Gen4 x16（實測風扇故障 0 RPM）</td>
</tr>
<tr>
<td style="text-align:left"><strong>GPU 1 (副卡)</strong></td>
<td style="text-align:left">AMD Radeon RX 7900 XTX 24GB</td>
<td style="text-align:left">PCIe Gen4 x8（風扇正常運轉 ~900 RPM）</td>
</tr>
<tr>
<td style="text-align:left"><strong>跨卡拓撲</strong></td>
<td style="text-align:left"><strong>P2P Disabled (走 Host RAM 轉發)</strong></td>
<td style="text-align:left">跨 IIO Stack，張量同步必須經過主板內存</td>
</tr>
</tbody>
</table>
<blockquote>
<p dir="auto"><strong><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" />️ 硬體痛點</strong>：</p>
<ol>
<li><strong>無 PCIe P2P 直連</strong>：兩張卡插在不同 CPU IIO Stack，跨卡通訊無法走 P2P Direct DMA，必須退回 <code>Host RAM</code>（GPU0 ➔ CPU 內存 ➔ GPU1），這是最大的延遲瓶頸。</li>
<li><strong>主卡風扇罷工</strong>：主卡風扇讀值為 0 RPM，滿載時熱量極難排出。</li>
</ol>
</blockquote>
<hr />
<h2><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f4e6.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--package" style="height:1.4em;width:auto;vertical-align:middle" title="📦" alt="📦" /> 二、運行模型與軟體堆疊</h2>
<ul>
<li><strong>推理引擎</strong>：Strata 引擎 v0.1.49.1（ROCm 10.1.0 / HIPBLASLt 100401）</li>
<li><strong>目標模型</strong>：<code>Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S</code>
<ul>
<li><strong>參數量與架構</strong>：48 層 Mixture-of-Experts (MoE)，動態專家權重約 46.8 GiB</li>
<li><strong>Context 長度</strong>：<strong>262,144 tokens (256K 超長上下文)</strong></li>
<li><strong>KV Cache</strong>：INT8 動態量化（常駐容量 32,768 tokens）</li>
<li><strong>投機解碼</strong>：Multi-Token Prediction (MTP) + 中文 60K Draft 詞表</li>
</ul>
</li>
</ul>
<hr />
<h2><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f4a5.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--boom" style="height:1.4em;width:auto;vertical-align:middle" title="💥" alt="💥" /> 三、踩坑血淚史：死機斷電與待機烘烤</h2>
<p dir="auto">在還沒優化前，剛部署完官方預設配置就撞上了兩個大坑：</p>
<h3>1. 128K 超長提示詞壓測，第 14 秒整機斷電</h3>
<p dir="auto">剛開始跑 128K（131,072 tokens）長文本基準測試時，雙卡瞬間滿載拉到 <strong>301W (GPU0) + 292W (GPU1) = 593W</strong>。<br />
結果運算到第 14 秒，主機無預警瞬間硬關機重開！</p>
<ul>
<li><strong>排查定論</strong>：起初懷疑是電源不足跳閘，但實測 593W 瞬間負載時 12V 迴路毫無波動；調閱底層遙測日誌才發現，GPU0 風扇根本沒轉（0 RPM），300W 滿載下晶片結溫以每秒 +3°C 失控狂飆，14 秒直接撞上 <strong>115°C 的 AMD 矽晶片硬體急停熔斷保護</strong>，整機強制斷電。</li>
</ul>
<h3>2. 待機時顯卡竟然在 190W 乾燒？</h3>
<p dir="auto">停用請求後發現 GPU0 待機結溫依然高達 100°C+、功耗維持 190W。原因出在預設的 <code>GPU_MAX_HW_QUEUES=8</code> 會讓 AMD MES 硬體排程器持續佔滿 GPU 時間片不休眠，在無風扇狀態下等同於自燃。</p>
<hr />
<h2><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a1.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--zap" style="height:1.4em;width:auto;vertical-align:middle" title="⚡" alt="⚡" /> 四、輸入（Prefill）速度優化：前後實測與改進手段</h2>
<p dir="auto">在跨卡無 P2P 的架構下，Prompt 輸入階段需要將大量的 Token 嵌入與 KV 快取在雙卡與 Host 記憶體之間分發。</p>
<h3>1. 輸入速度（Prefill）優化前後數據對比</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:left">提示詞長度場景</th>
<th style="text-align:left">優化前 (預設配置)</th>
<th style="text-align:left">優化後 (滿血版本)</th>
<th style="text-align:left">性能提升與改善幅度</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left"><strong>短 Prompt (~100 tokens)</strong></td>
<td style="text-align:left">133.8 tok/s (耗時 ~730ms)</td>
<td style="text-align:left"><strong>534.3 tok/s (耗時 183.4ms)</strong></td>
<td style="text-align:left"><strong>首字延遲縮短 75%（快近 3 倍）</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>中長 Prompt (1.7K tokens)</strong></td>
<td style="text-align:left">1,238.9 tok/s (耗時 266.3ms)</td>
<td style="text-align:left"><strong>8,707 tok/s 等效吞吐 (耗時 204.2ms)</strong></td>
<td style="text-align:left"><strong>首字響應延遲下降 23.3%</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>長 Prompt (4K tokens)</strong></td>
<td style="text-align:left">2,355.2 tok/s</td>
<td style="text-align:left"><strong>2,800+ tok/s</strong></td>
<td style="text-align:left"><strong>並行吞吐量持續攀升</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>歷史真實請求平均輸入速度</strong></td>
<td style="text-align:left">~180.0 tok/s</td>
<td style="text-align:left"><strong>475.99 tok/s (峰值 1,202.2 tok/s)</strong></td>
<td style="text-align:left">包含不同長度 Prompt 之綜合平均</td>
</tr>
<tr>
<td style="text-align:left"><strong>超長文本快取命中 (130K Prompt)</strong></td>
<td style="text-align:left">首字需等待 3~5 秒</td>
<td style="text-align:left"><strong>首字僅需 1.2 秒</strong></td>
<td style="text-align:left">94% 快取命中率，秒級首字吐出</td>
</tr>
</tbody>
</table>
<h3>2. 輸入速度（Prefill）究竟做了哪些優化？</h3>
<ul>
<li><strong>優化招式 1：全 76 執行緒 CPU 鎖定最高頻 (<code>performance</code>)</strong><br />
原本 Linux 預設處於節能模式，當大批 Token 透過 PCIe 進入 Host 轉發時，CPU 需要數十毫秒由 1.2GHz 提速到 3.0GHz，造成嚴重的啟動抖動。將全部 76 執行緒強制鎖定 <code>performance</code> 後，PCIe DMA 中斷即時處理，徹底消滅了輸入等待。</li>
<li><strong>優化招式 2：啟用 Linux 透明大頁 (<code>echo always &gt; transparent_hugepage/enabled</code>)</strong><br />
在預填大 Context 時，幾十 GB 的內存頻繁被顯卡與 CPU 映射。開啟大頁（2MB Pages）後，頁表查詢的 TLB miss（快取缺失率）暴降，大數據搬運效率顯著提高。</li>
<li><strong>優化招式 3：開啟非同步流水預取 (<code>STRATA_KV_PREFETCH: 1</code>)</strong><br />
在 Prefill 計算當前 Layer 的同時，非同步流水線提前向 Host 申請下一層的 KV Cache 槽位，掩蓋了 PCIe 的傳輸等待時間。</li>
</ul>
<hr />
<h2><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f680.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--rocket" style="height:1.4em;width:auto;vertical-align:middle" title="🚀" alt="🚀" /> 五、輸出（Decode）速度優化：前後實測與改進手段</h2>
<p dir="auto">輸出解碼階段是逐個 Token 生成，極度考驗雙卡張量同步延遲、MoE 專家切換命中率與 MTP 投機解碼的準確率。</p>
<h3>1. 輸出速度（Decode）優化前後數據對比</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:left">生成任務場景</th>
<th style="text-align:left">優化前 (預設配置)</th>
<th style="text-align:left">優化後 (滿血版本)</th>
<th style="text-align:left">性能提升與改善幅度</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left"><strong>日常中文對話 (150 tokens)</strong></td>
<td style="text-align:left">89.2 ~ 91.4 tok/s</td>
<td style="text-align:left"><strong>100.70 tok/s</strong></td>
<td style="text-align:left"><strong>成功突破 100 關卡 (+10.2%)</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>中長文本生成 (200 tokens)</strong></td>
<td style="text-align:left">92.9 tok/s</td>
<td style="text-align:left"><strong>96.1 ~ 102.5 tok/s</strong></td>
<td style="text-align:left"><strong>解碼穩定度顯著提高</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>程式碼生成 (Python Code / 250 tokens)</strong></td>
<td style="text-align:left">~95.0 tok/s</td>
<td style="text-align:left"><strong>125.60 tok/s</strong></td>
<td style="text-align:left"><strong>暴漲 +32.2%（最驚艷突破）</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>歷史真實請求平均解碼速度</strong></td>
<td style="text-align:left">~93.0 tok/s</td>
<td style="text-align:left"><strong>110.29 tok/s (峰值 136.6 tok/s)</strong></td>
<td style="text-align:left">多請求累積之綜合真實解碼吞吐</td>
</tr>
<tr>
<td style="text-align:left"><strong>MTP 投機解碼接受率 (Draft)</strong></td>
<td style="text-align:left">50.0% ~ 68.3%</td>
<td style="text-align:left"><strong>79.42% (代碼達 86.3%)</strong></td>
<td style="text-align:left">投機命中率大幅提高，重算浪費極低</td>
</tr>
</tbody>
</table>
<h3>2. 輸出速度（Decode）究竟做了哪些優化？</h3>
<ul>
<li><strong>優化招式 1：增大並行線程池 (<code>--pool-workers 16</code>)</strong><br />
原本預設僅給 8 個背景 worker，在 Xeon 38 核伺服器上根本跑不滿；調至 16 個 worker 後，完美分擔了跨卡專家換頁的排程排隊，<strong>單這項就讓解碼直接提速 10%</strong>。</li>
<li><strong>優化招式 2：啟用專家動態互斥分流 (<code>STRATA_DISJOINT_ADAPT: 1</code>) —— 最神核心！</strong><br />
原本雙卡為了省事，兩邊各自快取熱門專家，白白浪費了 2,000 個重複槽位（約 4GB VRAM），且無風扇的主卡被逼著重複計算。<br />
開啟互斥後，主卡固定管 9,198 槽、副卡管 8,486 槽，專家分工完全不重複！<br />
<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f449.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--point_right" style="height:1.4em;width:auto;vertical-align:middle" title="👉" alt="👉" /> <strong>收益</strong>：有效專家槽位擴充至 <strong>17,684 槽位（+396 槽）</strong>；且前向計算負載動態分流，<strong>主卡滿載功耗直接從 301W 驟降至 175W，結溫由破百降至 80°C 安全線</strong>！</li>
<li><strong>優化招式 3：Host 記憶體零拷貝指針輪轉 (<code>STRATA_EXCHANGE_ROTATE: 1</code>)</strong><br />
原本跨卡張量同步要走傳統 <code>memcpy</code> 拷貝，改為 Zero-copy Token Pointer Swap，雙卡在共享內存直接互換虛擬內存指針，<strong>消滅了高頻解碼時的內存搬運耗時</strong>。</li>
<li><strong>優化招式 4：MTP 投機信心過濾 (<code>--spec-min-p 0.70</code>)</strong><br />
原配置置信度設為 0.50，導致模型經常胡亂猜測低機率 Token，猜錯引發大量的 rollback 重算。調高至 0.70 後，只對高勝率 Token 進行投機，<strong>代碼生成的接受率直接飆升到 86.3%，解碼直接衝上 125.6 tok/s</strong>。</li>
<li><strong>優化招式 5：顯存預留縮減 (<code>--vram-reserve-mib 640</code>)</strong><br />
將每張卡預留的 1024MB 縮至 640MB，省下來的顯存全部拿來擴大 Expert Cache 池，容納高達 34.4 GiB 的專家動態駐留。</li>
</ul>
<hr />
<h2><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2696.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--scales" style="height:1.4em;width:auto;vertical-align:middle" title="⚖" alt="⚖" />️ 六、靈魂拷問：單卡本來就跑 80~90 tok/s，雙卡到底差在哪？</h2>
<p dir="auto">很多朋友實測雙卡後常有一種感覺：</p>
<blockquote>
<p dir="auto"><em>「我日常聊兩句、測個短對話，單卡 7900 XTX 好像就能跑 75~85 tok/s，雙卡優化完跑 96~100 tok/s，體感好像沒翻倍啊？是不是雙卡只快在 Prefill 輸入？」</em></p>
</blockquote>
<p dir="auto">這個直覺<strong>非常準確，但也只看對了一半！</strong><br />
我們在同一台機器、同版本引擎下做了<strong>嚴格的「單卡 vs 雙卡」長短文本同條件壓測</strong>，數據揭露了震撼真相：</p>
<h3>1. 同機器、同模型「單卡 vs 雙卡」嚴格對比成績單</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:left">提示詞長度</th>
<th style="text-align:left">單卡 7900 XTX (24GB)</th>
<th style="text-align:left">雙卡 7900 XTX TP (48GB 滿血實測)</th>
<th style="text-align:left">雙卡真正帶來的本質提升</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left"><strong>短文本 (4K tokens)</strong></td>
<td style="text-align:left">Prefill: 1,294 tok/s &lt;br&gt; Decode: <strong>75.0 tok/s</strong> (66~90)</td>
<td style="text-align:left">Prefill: <strong>2,001.0 tok/s (+54.6%)</strong> &lt;br&gt; Decode: <strong>106.3 tok/s (+41.7%)</strong></td>
<td style="text-align:left"><strong>解碼突破 100 關卡</strong>（區間 95.9~112.7 tok/s）</td>
</tr>
<tr>
<td style="text-align:left"><strong>中長文本 (32K tokens)</strong></td>
<td style="text-align:left">Prefill: 3,316 tok/s &lt;br&gt; Decode: <strong>79.3 tok/s</strong></td>
<td style="text-align:left">Prefill: <strong>5,760.7 tok/s (+73.7%)</strong> &lt;br&gt; Decode: <strong>103.8 tok/s (+30.9%)</strong></td>
<td style="text-align:left"><strong>輸入飆升近 6,000 tok/s，解碼穩破百</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>超長文本 (128K tokens)</strong></td>
<td style="text-align:left">Prefill: 2,538 tok/s &lt;br&gt; Decode: <strong>60.4 tok/s (暴跌至39~60)</strong></td>
<td style="text-align:left">Prefill: <strong>5,623.4 tok/s (+121.5% 翻倍)</strong> &lt;br&gt; Decode: <strong>109.3 tok/s (+81.0% 大暴漲)</strong></td>
<td style="text-align:left"><strong>單卡顯存撞牆暴跌，雙卡穩超 109 tok/s！</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>極限滿載 (256K Context)</strong></td>
<td style="text-align:left">顯存直接被 KV 吞噬，頻繁 OOM 或嚴重卡頓</td>
<td style="text-align:left"><strong>穩健容納 17,684 專家槽位 (34.4GB 駐留)</strong></td>
<td style="text-align:left"><strong>雙卡 48GB 顯存的「質變」：能跑與不能跑的界線</strong></td>
</tr>
</tbody>
</table>
<h3>2. 為什麼短文本雙卡沒有翻倍？</h3>
<ul>
<li><strong>跨卡無 P2P 通信延遲</strong>：本機雙卡插在不同 CPU IIO Stack，每次生成 1 個 Token，張量同步都必須走 <code>PCIe ➔ Host RAM ➔ PCIe</code>。在短文本時，計算量極小，通信延遲佔比過大，抵消了並行算力。</li>
</ul>
<h3>3. 那多花一張卡的錢，到底買到了什麼？</h3>
<ol>
<li><strong>輸入（Prefill）速度全面翻倍</strong>：32K 從 3,300 飆到 5,733 tok/s；128K 從 2,500 飆到 5,891 tok/s，大文檔餵進去秒出首字。</li>
<li><strong>超長文本（128K~256K）不再暴跌</strong>：單卡在 128K 時顯存被 KV Cache 塞滿，只能把專家模型踢到系統內存，解碼直接腰斬到 60 tok/s 甚至 39 tok/s；而雙卡 48GB 顯存讓 17,684 個專家槽位穩穩常駐，128K 依舊能以 <strong>101+ tok/s</strong> 極速輸出！</li>
<li><strong>滿血 256K 超長上下文自由</strong>：這是單卡 24GB 物理上不可能達成的容量維度。</li>
</ol>
<hr />
<h2><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f321.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--thermometer" style="height:1.4em;width:auto;vertical-align:middle" title="🌡" alt="🌡" />️ 七、功耗、溫度與穩定性奇蹟對比</h2>
<p dir="auto">在沒有改動任何硬體（主卡風扇依舊故障為 0 RPM）的前提下，純粹透過上述計算分流架構，達成之熱平衡奇蹟：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:left">監控維度</th>
<th style="text-align:left">原始預設配置 (優化前)</th>
<th style="text-align:left">最終優化版本 (優化後)</th>
<th style="text-align:left">改善成果與物理變化</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left"><strong>GPU0 主卡 (無風扇) 滿載功耗</strong></td>
<td style="text-align:left">301 W (極端高危)</td>
<td style="text-align:left"><strong>175 W (低溫平穩)</strong></td>
<td style="text-align:left"><strong>功耗暴降 126 W (-41.8%)</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>GPU0 主卡 (無風扇) 峰值結溫</strong></td>
<td style="text-align:left">93°C ~ 115°C (熱跳閘斷電)</td>
<td style="text-align:left"><strong>80.0°C (極度安全)</strong></td>
<td style="text-align:left"><strong>結溫驟降 13°C~35°C，徹底根除死機</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>GPU1 副卡 (正常風扇) 峰值結溫</strong></td>
<td style="text-align:left">88.0°C (292W)</td>
<td style="text-align:left"><strong>87.0°C (296W)</strong></td>
<td style="text-align:left">副卡承擔主要散熱，系統熱平衡極佳</td>
</tr>
<tr>
<td style="text-align:left"><strong>待機休眠功耗</strong></td>
<td style="text-align:left">190 W (排程器不休眠自燃)</td>
<td style="text-align:left"><strong>59 W (雙卡正常休眠)</strong></td>
<td style="text-align:left">待機自燃問題徹底解決</td>
</tr>
</tbody>
</table>
<hr />
<h2><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f4a1.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--bulb" style="height:1.4em;width:auto;vertical-align:middle" title="💡" alt="💡" /> 八、心得與總結</h2>
<ol>
<li><strong>AMD 雙卡 TP 潛力巨大</strong>：即便沒有綠廠的 NVLink，在沒有 PCIe P2P 直連的伺服器主板上，透過合適的並行調度和 MTP 投機解碼，雙 7900 XTX 依然能在 256K 超長上下文下跑出 <strong>110+ tok/s</strong>、代碼 <strong>125+ tok/s</strong> 的驚人速度，性價比極高。</li>
<li><strong>MoE 專家互斥是雙卡靈魂</strong>：<code>STRATA_DISJOINT_ADAPT: 1</code> 不僅擴大了顯存可用容量，更直接改變了計算分流架構，成為拯救散熱不良顯卡的奇蹟開關。</li>
<li><strong>系統層調優不可忽視</strong>：在跨卡走 Host 記憶體轉發的架構下，CPU 鎖頻 <code>performance</code> 和 Linux 透明大頁（THP）對縮減 Prefill 首字延遲（-23%）至關重要。</li>
</ol>
<p dir="auto">希望這份實測數據與參數分享，能幫到同樣在折騰 AMD 雙卡大模型的朋友們少走彎路！</p>
]]></description><link>https://lcz.me/topic/3173</link><generator>RSS for Node</generator><lastBuildDate>Thu, 19 Nov 2026 00:16:34 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/3173.rss" rel="self" type="application/rss+xml"/><pubDate>Wed, 18 Nov 2026 05:52:49 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 抄作業成功 ! 雙卡 RX 7900 XTX 榨乾 Qwen3.8-Flash-Next 256K：Strata  TP decode 130+ tok/s prefill 6020 最新調校指南與無 P2P 性能逆襲 on Wed, 18 Nov 2026 17:13:02 GMT]]></title><description><![CDATA[<p dir="auto">11/19,01:12更新 抄烘焙老哥的作業成功</p>
<h1>雙卡 RX 7900 XTX × Strata 優化結論報告</h1>
<blockquote>
<p dir="auto">完成時間：2026-11-19 01:10 CST<br />
機器：MU72-SU0 工作站（Xeon 38C/76T、2× RX 7900 XTX 24GB、128GB DDR4 REG ECC）<br />
服務：<code>strata-gsq-rco-iq3s-rdna3-8080</code>（Strata 0.1.49.1 / ROCm 10.1 / HIPBLASLt 100401）<br />
模型：<code>qwen-flash-iq3</code>（Qwen3.8-Flash-Next-GSQ-RCO IQ3_S，262,144 context、INT8 KV）</p>
</blockquote>
<hr />
<h2>一、結論（一句話）</h2>
<p dir="auto">改套 <code>lcz.me/topic/2694</code> 的同型作業（IQ3_S + layer-split 24）後，<strong>decode 出字速度提升 23～32%</strong>，且數值正確；prefill 只有 32K 檔位微降 6%。</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:left">檔位</th>
<th style="text-align:center">decode 舊（TP2）</th>
<th style="text-align:center">decode 新（作業）</th>
<th style="text-align:center">變化</th>
<th style="text-align:center">prefill 舊</th>
<th style="text-align:center">prefill 新</th>
<th style="text-align:center">變化</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left">4K</td>
<td style="text-align:center">107.5</td>
<td style="text-align:center"><strong>132.4</strong></td>
<td style="text-align:center"><strong>+23%</strong></td>
<td style="text-align:center">1,401</td>
<td style="text-align:center"><strong>1,929</strong></td>
<td style="text-align:center"><strong>+38%</strong></td>
</tr>
<tr>
<td style="text-align:left">32K</td>
<td style="text-align:center">105.5</td>
<td style="text-align:center"><strong>138.9</strong></td>
<td style="text-align:center"><strong>+32%</strong></td>
<td style="text-align:center">5,161</td>
<td style="text-align:center">4,868</td>
<td style="text-align:center">−6%</td>
</tr>
<tr>
<td style="text-align:left">128K</td>
<td style="text-align:center">100.2</td>
<td style="text-align:center"><strong>132.1</strong></td>
<td style="text-align:center"><strong>+32%</strong></td>
<td style="text-align:center">5,492</td>
<td style="text-align:center"><strong>6,020</strong></td>
<td style="text-align:center"><strong>+10%</strong></td>
</tr>
<tr>
<td style="text-align:left">262K</td>
<td style="text-align:center">—</td>
<td style="text-align:center">122.1（單筆）</td>
<td style="text-align:center">—</td>
<td style="text-align:center">—</td>
<td style="text-align:center">5,932</td>
<td style="text-align:center">—</td>
</tr>
</tbody>
</table>
<p dir="auto">（單位 tok/s；兩邊各 3 次、取中位；nonce 置於 prompt 最前避免前綴快取；輸出上限 256、temperature 0）</p>
<hr />
<h2>二、來源：這次抄的是哪一份作業</h2>
<ul>
<li>帖：<code>https://lcz.me/topic/2694/25</code>「【爆卖理由＋2】双7900 XTX Strata IQ3_S：262K Prefill 6,264 可抄作业」</li>
<li>平台：雙 RX 7900 XTX + <strong>IQ3_S</strong> + Strata RDNA3 fork（作者用 commit <code>fc8f823</code>，engine 0.1.43；本機 0.1.49.1）</li>
<li>作者成績：128K prefill <strong>6,532</strong>、262K prefill <strong>6,264</strong></li>
<li>作者自身 A/B：關掉 DP Prefill 會掉 19%（128K）／12%（262K）→ DP Prefill 是主要槓桿</li>
</ul>
<p dir="auto"><strong>先前走錯的路（重要）</strong>：11/17 起 Codex 抄的是 <code>topic/2772</code>（單路116.5、雙路合計161.1），那是 <strong>IQ3_XXS + 26/22 層 + 自改引擎源碼編譯</strong>，且量的是「長上下文快取命中後的生成速度」，不是單路 prefill。Codex 只抄參數、抄不到 patch，又照指令走 TP2，所以一直卡在約 110 tok/s。<code>2694</code> 在 Codex 歷史中出現次數為 <strong>0</strong>。</p>
<hr />
<h2>三、實際改了什麼（配置差異）</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>項目</th>
<th>舊（TP2）</th>
<th>新（作業）</th>
</tr>
</thead>
<tbody>
<tr>
<td>雙卡模式</td>
<td><code>--tensor-parallel 2</code></td>
<td><strong><code>--layer-split 24</code></strong></td>
</tr>
<tr>
<td>PLE 權重</td>
<td>缺 <code>--ple-gguf</code></td>
<td><strong>補上 shard2 <code>…-00002-of-00002.gguf</code></strong></td>
</tr>
<tr>
<td>spec / spec-min-p</td>
<td>4 / 0.70</td>
<td><strong>3 / 0.5</strong></td>
</tr>
<tr>
<td>vram-reserve-mib</td>
<td>768</td>
<td><strong>2048</strong></td>
</tr>
<tr>
<td>pool-workers</td>
<td>16</td>
<td><strong>8</strong></td>
</tr>
<tr>
<td>STRATA_RDNA_MMVQ_WAVE</td>
<td>4</td>
<td><strong>3</strong></td>
</tr>
<tr>
<td>實驗項</td>
<td>adapt-every/swaps、draft_vocab、conversation-cache、整組 STRATA_TP_*</td>
<td>全移除，改用作業的 env 清單</td>
</tr>
</tbody>
</table>
<p dir="auto">引擎啟動日誌實證：<code>[strata] layer split across GPUs [0, 1] (24)</code></p>
<hr />
<h2>四、量測方法（依 Skill <code>multi-gpu-llm-bench-ops</code>）</h2>
<ol>
<li><strong>先確認哪份設定是活的</strong>：容器 mount <code>/home/jaran/.hermes/tmp/strata-rdna3-main-20261117</code> → <code>/src</code>。倉庫另一份 <code>/home/jaran/Strata-rdna3/...</code> 沒被掛載，改它數字不會動。</li>
<li><strong>nonce 去快取</strong>：每次 prompt 最前面插 <code>[run-&lt;12碼隨機&gt;]</code>。命中快取的特徵是「wall 只有 2~3 秒卻回報 prefill 十幾 tok/s」，該筆 prefill 作廢、decode 仍可用。</li>
<li><strong>兩邊各 3 次取中位</strong>：舊配置最大雜訊出現在 4K（107.5 / 24.2 / 122.0，其中 24.2 是冷啟異常值）；單筆 5~10% 一律視為雜訊。</li>
<li><strong>正確性 gate</strong>：固定題 <code>17*23</code> 必須回 <code>391</code>（<code>WAVE=3</code> 是社群回報會算錯的開關）。</li>
</ol>
<p dir="auto">原始數據（三次全列，供覆核）：</p>
<pre><code>4K    舊 dec=[107.5, 24.2, 122.0]  pre=[1412.8, 1400.6, 1122.4]
32K   舊 dec=[105.5, 102.5, 117.3] pre=[5565.3, 2738.4, 5161.3]
128K  舊 dec=[98.0, 102.6, 100.2]  pre=[5491.7, 5396.8, 5507.5]
4K    新 dec=[132.4, 128.6, 137.8] pre=[1901.7, 1977.3, 1929.0]
32K   新 dec=[141.5, 136.1, 138.9] pre=[4222.0, 4947.1, 4868.4]
128K  新 dec=[143.4, 124.2, 132.1] pre=[6580.7, 4789.1, 6019.6]
262K  新 pre=5932.0  dec=122.1（單筆）
</code></pre>
<hr />
<h2>五、試過但無效（別再重複踩）</h2>
<ul>
<li><code>--spec 4</code> + <code>--spec-min-p 0.70</code> + <code>STRATA_ROUTE_PRIOR=1.0</code> + <code>--expert-profile-save</code> + <code>WATCHDOG=180</code> 這組 bundle：實測 32K decode 只有 92.4 / 96.1 / 99.0，<strong>未見可證實提升</strong>（在雜訊範圍內），已回滾。</li>
<li>只單獨加 <code>STRATA_ROUTE_PRIOR=1.0</code>：4K 105.1、32K 104.1、128K 99.2 → 亦是雜訊。</li>
<li>論壇 <code>topic/3060</code> 明確列為負收益：<code>STRATA_SH_STREAM=1</code>（掉到 49）、<code>PF_FUSED_KQ</code> / <code>PF_F16</code>（慢 5~14%）、<code>RDNA_MMVQ_WAVE=3</code> 在舊引擎會算錯、<code>ROUTE_PRIOR=1.25</code> 會算錯、<code>GR_RDNA=1</code> 較慢。</li>
</ul>
<hr />
<h2>六、真正的天花板：硬體層（尚未處理）</h2>
<pre><code>amd-smi topology ACCESS TABLE
  0000:53:00.0  ENABLED   DISABLED
  0000:c5:00.0  DISABLED  ENABLED      ← 兩卡間 P2P = DISABLED
WEIGHT=40  HOPS=2  LINK=PCIE

lspci Region 0 = 256M（7900 XTX 開 ReBAR 應為 16G/24G）
/proc/cmdline: 無 iommu=pt、無 pci=realloc
</code></pre>
<ul>
<li><strong>P2P 關閉 + ReBAR 未開</strong> 是雙卡跨卡搬激活/KV 的硬瓶頸，也是社群 peer 模式（decode 73~77 vs 層切分 36.7~59.6）我們吃不到的原因。</li>
<li>解法只有進 BIOS：<strong>Above 4G Decoding ON、Resizable BAR ON</strong>（必要時 ACS off、VT-d on），可再加 kernel 參數 <code>iommu=pt pci=realloc</code>。</li>
<li>驗收標準：<code>lspci -vv</code> 的 Region 0 變成 16G/24G；<code>amd-smi topology</code> 的 ACCESS TABLE 變 ENABLED。</li>
</ul>
<hr />
<h2>七、證據、回滾、現況</h2>
<ul>
<li>生效設定：<code>/home/jaran/.hermes/tmp/strata-rdna3-main-20261117/rdna3/configs/iq3-2gpu.json</code></li>
<li>回滾（舊 TP2）：<code>iq3-2gpu.json.bak_20261118_235222_before_lcz2694_replica</code></li>
<li>作業版快照：<code>/home/jaran/.hermes/tmp/lcz2694_v1.json</code></li>
<li>量測腳本：<code>/home/jaran/scripts/strata_quick_bench.py</code></li>
<li>A/B 腳本：<code>/home/jaran/scripts/strata_ab_baseline3.sh</code>（自動 revert → 3 輪 → 還原）</li>
<li>數據：<code>~/.hermes/cache/scratch/strata_bench_base3_r*.json</code>、<code>strata_bench_lcz2694_*.json</code></li>
<li>現況讀回（01:10）：容器 <code>Up 34 minutes</code>、<code>{"status":"ok","max_context":262144,"loaded":true}</code>、<code>17*23 → 391</code></li>
</ul>
<hr />
<h2>八、待辦</h2>
<ol>
<li>BIOS 開 Above 4G Decoding + Resizable BAR（提升上限最大的一步）</li>
<li>每日算術回歸（<code>17*23</code>、<code>99*99</code>），防 <code>WAVE=3</code> 哪天開始算錯</li>
<li>32K prefill −6% 需再做一輪針對性 A/B（候選：<code>--pipeline-windows 2</code> 開/關）</li>
<li>262K 目前只有單筆，補到 3 次取中位</li>
<li>GPU0 風扇 0 RPM 的物理檢修（白天報告 §8 已列）</li>
</ol>
]]></description><link>https://lcz.me/post/34458</link><guid isPermaLink="true">https://lcz.me/post/34458</guid><dc:creator><![CDATA[CHIA AN YANG]]></dc:creator><pubDate>Wed, 18 Nov 2026 17:13:02 GMT</pubDate></item><item><title><![CDATA[Reply to 抄作業成功 ! 雙卡 RX 7900 XTX 榨乾 Qwen3.8-Flash-Next 256K：Strata  TP decode 130+ tok/s prefill 6020 最新調校指南與無 P2P 性能逆襲 on Wed, 18 Nov 2026 17:10:49 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/%E6%87%92%E4%BA%BA%E7%83%98%E5%9F%B9" aria-label="Profile: 懒人烘培">@<bdi>懒人烘培</bdi></a> 感謝,我的agent抄幾個作業都失敗,這次找到你的就成功了!哈 感謝分享</p>
]]></description><link>https://lcz.me/post/34457</link><guid isPermaLink="true">https://lcz.me/post/34457</guid><dc:creator><![CDATA[CHIA AN YANG]]></dc:creator><pubDate>Wed, 18 Nov 2026 17:10:49 GMT</pubDate></item><item><title><![CDATA[Reply to 抄作業成功 ! 雙卡 RX 7900 XTX 榨乾 Qwen3.8-Flash-Next 256K：Strata  TP decode 130+ tok/s prefill 6020 最新調校指南與無 P2P 性能逆襲 on Wed, 18 Nov 2026 08:02:18 GMT]]></title><description><![CDATA[<p dir="auto">确实有优化空间，可以参考我那帖子~<br />
<a href="https://lcz.me/topic/2694/25">https://lcz.me/topic/2694/25</a></p>
]]></description><link>https://lcz.me/post/34344</link><guid isPermaLink="true">https://lcz.me/post/34344</guid><dc:creator><![CDATA[懒人烘培]]></dc:creator><pubDate>Wed, 18 Nov 2026 08:02:18 GMT</pubDate></item><item><title><![CDATA[Reply to 抄作業成功 ! 雙卡 RX 7900 XTX 榨乾 Qwen3.8-Flash-Next 256K：Strata  TP decode 130+ tok/s prefill 6020 最新調校指南與無 P2P 性能逆襲 on Wed, 18 Nov 2026 07:58:50 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiongjie-gao" aria-label="Profile: xiongjie-gao">@<bdi>xiongjie-gao</bdi></a> 是的，值得借鉴，我就不抄作业了，放弃了xtx双卡方案，特么的太贵了。</p>
]]></description><link>https://lcz.me/post/34342</link><guid isPermaLink="true">https://lcz.me/post/34342</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Wed, 18 Nov 2026 07:58:50 GMT</pubDate></item><item><title><![CDATA[Reply to 抄作業成功 ! 雙卡 RX 7900 XTX 榨乾 Qwen3.8-Flash-Next 256K：Strata  TP decode 130+ tok/s prefill 6020 最新調校指南與無 P2P 性能逆襲 on Wed, 18 Nov 2026 07:57:44 GMT]]></title><description><![CDATA[<p dir="auto"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2705.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--white_check_mark" style="height:1.4em;width:auto;vertical-align:middle" title="✅" alt="✅" /> 版主审定：本帖设为<strong>优秀</strong>，作者 <strong>+3 积分</strong>奖励，继续加油！</p>
<blockquote>
<p dir="auto">奖励凭证：优秀 +3 分 · 编号 e3173-218-1</p>
</blockquote>
]]></description><link>https://lcz.me/post/34340</link><guid isPermaLink="true">https://lcz.me/post/34340</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Wed, 18 Nov 2026 07:57:44 GMT</pubDate></item><item><title><![CDATA[Reply to 抄作業成功 ! 雙卡 RX 7900 XTX 榨乾 Qwen3.8-Flash-Next 256K：Strata  TP decode 130+ tok/s prefill 6020 最新調校指南與無 P2P 性能逆襲 on Wed, 18 Nov 2026 06:10:04 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiongjie-gao" aria-label="Profile: xiongjie-gao">@<bdi>xiongjie-gao</bdi></a> 對我知道 我先記錄一下過程,還要繼續調 感謝分享</p>
]]></description><link>https://lcz.me/post/34317</link><guid isPermaLink="true">https://lcz.me/post/34317</guid><dc:creator><![CDATA[CHIA AN YANG]]></dc:creator><pubDate>Wed, 18 Nov 2026 06:10:04 GMT</pubDate></item><item><title><![CDATA[Reply to 抄作業成功 ! 雙卡 RX 7900 XTX 榨乾 Qwen3.8-Flash-Next 256K：Strata  TP decode 130+ tok/s prefill 6020 最新調校指南與無 P2P 性能逆襲 on Wed, 18 Nov 2026 07:57:38 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/chia-an-yang" aria-label="Profile: CHIA-AN-YANG">@<bdi>CHIA-AN-YANG</bdi></a> 建议你参考一下本论坛 <a class="plugin-mentions-user plugin-mentions-a" href="/user/%E6%87%92%E4%BA%BA%E7%83%98%E5%9F%B9" aria-label="Profile: 懒人烘培">@<bdi>懒人烘培</bdi></a>  兄弟的单于strata的参数调优项目。<br />
你这套设备底子不错，借鉴他的项目你还有提升空间。</p>
]]></description><link>https://lcz.me/post/34315</link><guid isPermaLink="true">https://lcz.me/post/34315</guid><dc:creator><![CDATA[xiongjie gao]]></dc:creator><pubDate>Wed, 18 Nov 2026 07:57:38 GMT</pubDate></item></channel></rss>