跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 抄作業成功 ! 雙卡 RX 7900 XTX 榨乾 Qwen3.8-Flash-Next 256K:Strata TP decode 130+ tok/s prefill 6020 最新調校指南與無 P2P 性能逆襲

抄作業成功 ! 雙卡 RX 7900 XTX 榨乾 Qwen3.8-Flash-Next 256K:Strata TP decode 130+ tok/s prefill 6020 最新調校指南與無 P2P 性能逆襲

已定时 固定直到 2026/11/20 16:00 已锁定 已移动 优秀 LLM讨论区
7900xtxstrata多卡部署
8 帖子 5 发布者 1.2k 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • CHIA AN YANGC
    CHIA AN YANGC
    CHIA AN YANG
    王侯将相
    编写于 最后由 CHIA AN YANG 编辑
    #1

    【分享】雙卡 RX 7900 XTX 榨乾 Qwen3.8-Flash-Next 256K:Strata TP 調校指南與無 P2P 性能逆襲

    很多玩本地大模型的朋友都覺得 AMD 顯卡(RDNA3)在多卡張量並行(TP)上生態不如綠廠,尤其是在沒有 NVLink、主板又開不了 P2P DMA 直連的情況下,跨卡延遲往往會把性能吃光。

    這次在伺服器上實測了兩張 RX 7900 XTX 24GB,運行 Qwen3.8-Flash-Next (IQ3_S 量化 / 256K 超長上下文)。歷經了跨 IIO Stack 走 Host 轉發、主卡風扇故障(0 RPM)導致 14 秒飆破 115°C 熱跳閘等各種地獄開局,最終透過 Strata 引擎參數重構與 Linux 系統層調優,成功將輸出速度拉到 110 ~ 125 tok/s,輸入首字延遲縮短 23%,同時把原本狂飆 300W 的主卡功耗壓制到 175W,低溫穩跑!

    把這套實測調優經驗整理成文,供同樣在折騰 AMD 雙卡跑大模型的朋友參考。


    🖥️ 一、測試硬體規格與拓撲

    這是一台 Intel 伺服器平台,雙卡分別插在不同的 PCIe 插槽上:

    組件 規格明細 備註說明
    主機板 技嘉 MU72-SU0 (Intel C621A 晶片組) 支援 PCIe 4.0
    處理器 Intel Xeon Gold (38 核 / 76 執行緒) 核心數多、單核頻率約 2.4~3.0 GHz
    系統記憶體 128GB DDR4 ECC Registered 四通道
    GPU 0 (主卡) AMD Radeon RX 7900 XTX 24GB PCIe Gen4 x16(實測風扇故障 0 RPM)
    GPU 1 (副卡) AMD Radeon RX 7900 XTX 24GB PCIe Gen4 x8(風扇正常運轉 ~900 RPM)
    跨卡拓撲 P2P Disabled (走 Host RAM 轉發) 跨 IIO Stack,張量同步必須經過主板內存

    ⚠️ 硬體痛點:

    1. 無 PCIe P2P 直連:兩張卡插在不同 CPU IIO Stack,跨卡通訊無法走 P2P Direct DMA,必須退回 Host RAM(GPU0 ➔ CPU 內存 ➔ GPU1),這是最大的延遲瓶頸。
    2. 主卡風扇罷工:主卡風扇讀值為 0 RPM,滿載時熱量極難排出。

    📦 二、運行模型與軟體堆疊

    • 推理引擎:Strata 引擎 v0.1.49.1(ROCm 10.1.0 / HIPBLASLt 100401)
    • 目標模型:Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S
      • 參數量與架構:48 層 Mixture-of-Experts (MoE),動態專家權重約 46.8 GiB
      • Context 長度:262,144 tokens (256K 超長上下文)
      • KV Cache:INT8 動態量化(常駐容量 32,768 tokens)
      • 投機解碼:Multi-Token Prediction (MTP) + 中文 60K Draft 詞表

    💥 三、踩坑血淚史:死機斷電與待機烘烤

    在還沒優化前,剛部署完官方預設配置就撞上了兩個大坑:

    1. 128K 超長提示詞壓測,第 14 秒整機斷電

    剛開始跑 128K(131,072 tokens)長文本基準測試時,雙卡瞬間滿載拉到 301W (GPU0) + 292W (GPU1) = 593W。
    結果運算到第 14 秒,主機無預警瞬間硬關機重開!

    • 排查定論:起初懷疑是電源不足跳閘,但實測 593W 瞬間負載時 12V 迴路毫無波動;調閱底層遙測日誌才發現,GPU0 風扇根本沒轉(0 RPM),300W 滿載下晶片結溫以每秒 +3°C 失控狂飆,14 秒直接撞上 115°C 的 AMD 矽晶片硬體急停熔斷保護,整機強制斷電。

    2. 待機時顯卡竟然在 190W 乾燒?

    停用請求後發現 GPU0 待機結溫依然高達 100°C+、功耗維持 190W。原因出在預設的 GPU_MAX_HW_QUEUES=8 會讓 AMD MES 硬體排程器持續佔滿 GPU 時間片不休眠,在無風扇狀態下等同於自燃。


    ⚡ 四、輸入(Prefill)速度優化:前後實測與改進手段

    在跨卡無 P2P 的架構下,Prompt 輸入階段需要將大量的 Token 嵌入與 KV 快取在雙卡與 Host 記憶體之間分發。

    1. 輸入速度(Prefill)優化前後數據對比

    提示詞長度場景 優化前 (預設配置) 優化後 (滿血版本) 性能提升與改善幅度
    短 Prompt (~100 tokens) 133.8 tok/s (耗時 ~730ms) 534.3 tok/s (耗時 183.4ms) 首字延遲縮短 75%(快近 3 倍)
    中長 Prompt (1.7K tokens) 1,238.9 tok/s (耗時 266.3ms) 8,707 tok/s 等效吞吐 (耗時 204.2ms) 首字響應延遲下降 23.3%
    長 Prompt (4K tokens) 2,355.2 tok/s 2,800+ tok/s 並行吞吐量持續攀升
    歷史真實請求平均輸入速度 ~180.0 tok/s 475.99 tok/s (峰值 1,202.2 tok/s) 包含不同長度 Prompt 之綜合平均
    超長文本快取命中 (130K Prompt) 首字需等待 3~5 秒 首字僅需 1.2 秒 94% 快取命中率,秒級首字吐出

    2. 輸入速度(Prefill)究竟做了哪些優化?

    • 優化招式 1:全 76 執行緒 CPU 鎖定最高頻 (performance)
      原本 Linux 預設處於節能模式,當大批 Token 透過 PCIe 進入 Host 轉發時,CPU 需要數十毫秒由 1.2GHz 提速到 3.0GHz,造成嚴重的啟動抖動。將全部 76 執行緒強制鎖定 performance 後,PCIe DMA 中斷即時處理,徹底消滅了輸入等待。
    • 優化招式 2:啟用 Linux 透明大頁 (echo always > transparent_hugepage/enabled)
      在預填大 Context 時,幾十 GB 的內存頻繁被顯卡與 CPU 映射。開啟大頁(2MB Pages)後,頁表查詢的 TLB miss(快取缺失率)暴降,大數據搬運效率顯著提高。
    • 優化招式 3:開啟非同步流水預取 (STRATA_KV_PREFETCH: 1)
      在 Prefill 計算當前 Layer 的同時,非同步流水線提前向 Host 申請下一層的 KV Cache 槽位,掩蓋了 PCIe 的傳輸等待時間。

    🚀 五、輸出(Decode)速度優化:前後實測與改進手段

    輸出解碼階段是逐個 Token 生成,極度考驗雙卡張量同步延遲、MoE 專家切換命中率與 MTP 投機解碼的準確率。

    1. 輸出速度(Decode)優化前後數據對比

    生成任務場景 優化前 (預設配置) 優化後 (滿血版本) 性能提升與改善幅度
    日常中文對話 (150 tokens) 89.2 ~ 91.4 tok/s 100.70 tok/s 成功突破 100 關卡 (+10.2%)
    中長文本生成 (200 tokens) 92.9 tok/s 96.1 ~ 102.5 tok/s 解碼穩定度顯著提高
    程式碼生成 (Python Code / 250 tokens) ~95.0 tok/s 125.60 tok/s 暴漲 +32.2%(最驚艷突破)
    歷史真實請求平均解碼速度 ~93.0 tok/s 110.29 tok/s (峰值 136.6 tok/s) 多請求累積之綜合真實解碼吞吐
    MTP 投機解碼接受率 (Draft) 50.0% ~ 68.3% 79.42% (代碼達 86.3%) 投機命中率大幅提高,重算浪費極低

    2. 輸出速度(Decode)究竟做了哪些優化?

    • 優化招式 1:增大並行線程池 (--pool-workers 16)
      原本預設僅給 8 個背景 worker,在 Xeon 38 核伺服器上根本跑不滿;調至 16 個 worker 後,完美分擔了跨卡專家換頁的排程排隊,單這項就讓解碼直接提速 10%。
    • 優化招式 2:啟用專家動態互斥分流 (STRATA_DISJOINT_ADAPT: 1) —— 最神核心!
      原本雙卡為了省事,兩邊各自快取熱門專家,白白浪費了 2,000 個重複槽位(約 4GB VRAM),且無風扇的主卡被逼著重複計算。
      開啟互斥後,主卡固定管 9,198 槽、副卡管 8,486 槽,專家分工完全不重複!
      👉 收益:有效專家槽位擴充至 17,684 槽位(+396 槽);且前向計算負載動態分流,主卡滿載功耗直接從 301W 驟降至 175W,結溫由破百降至 80°C 安全線!
    • 優化招式 3:Host 記憶體零拷貝指針輪轉 (STRATA_EXCHANGE_ROTATE: 1)
      原本跨卡張量同步要走傳統 memcpy 拷貝,改為 Zero-copy Token Pointer Swap,雙卡在共享內存直接互換虛擬內存指針,消滅了高頻解碼時的內存搬運耗時。
    • 優化招式 4:MTP 投機信心過濾 (--spec-min-p 0.70)
      原配置置信度設為 0.50,導致模型經常胡亂猜測低機率 Token,猜錯引發大量的 rollback 重算。調高至 0.70 後,只對高勝率 Token 進行投機,代碼生成的接受率直接飆升到 86.3%,解碼直接衝上 125.6 tok/s。
    • 優化招式 5:顯存預留縮減 (--vram-reserve-mib 640)
      將每張卡預留的 1024MB 縮至 640MB,省下來的顯存全部拿來擴大 Expert Cache 池,容納高達 34.4 GiB 的專家動態駐留。

    ⚖️ 六、靈魂拷問:單卡本來就跑 80~90 tok/s,雙卡到底差在哪?

    很多朋友實測雙卡後常有一種感覺:

    「我日常聊兩句、測個短對話,單卡 7900 XTX 好像就能跑 75~85 tok/s,雙卡優化完跑 96~100 tok/s,體感好像沒翻倍啊?是不是雙卡只快在 Prefill 輸入?」

    這個直覺非常準確,但也只看對了一半!
    我們在同一台機器、同版本引擎下做了嚴格的「單卡 vs 雙卡」長短文本同條件壓測,數據揭露了震撼真相:

    1. 同機器、同模型「單卡 vs 雙卡」嚴格對比成績單

    提示詞長度 單卡 7900 XTX (24GB) 雙卡 7900 XTX TP (48GB 滿血實測) 雙卡真正帶來的本質提升
    短文本 (4K tokens) Prefill: 1,294 tok/s <br> Decode: 75.0 tok/s (66~90) Prefill: 2,001.0 tok/s (+54.6%) <br> Decode: 106.3 tok/s (+41.7%) 解碼突破 100 關卡(區間 95.9~112.7 tok/s)
    中長文本 (32K tokens) Prefill: 3,316 tok/s <br> Decode: 79.3 tok/s Prefill: 5,760.7 tok/s (+73.7%) <br> Decode: 103.8 tok/s (+30.9%) 輸入飆升近 6,000 tok/s,解碼穩破百
    超長文本 (128K tokens) Prefill: 2,538 tok/s <br> Decode: 60.4 tok/s (暴跌至39~60) Prefill: 5,623.4 tok/s (+121.5% 翻倍) <br> Decode: 109.3 tok/s (+81.0% 大暴漲) 單卡顯存撞牆暴跌,雙卡穩超 109 tok/s!
    極限滿載 (256K Context) 顯存直接被 KV 吞噬,頻繁 OOM 或嚴重卡頓 穩健容納 17,684 專家槽位 (34.4GB 駐留) 雙卡 48GB 顯存的「質變」:能跑與不能跑的界線

    2. 為什麼短文本雙卡沒有翻倍?

    • 跨卡無 P2P 通信延遲:本機雙卡插在不同 CPU IIO Stack,每次生成 1 個 Token,張量同步都必須走 PCIe ➔ Host RAM ➔ PCIe。在短文本時,計算量極小,通信延遲佔比過大,抵消了並行算力。

    3. 那多花一張卡的錢,到底買到了什麼?

    1. 輸入(Prefill)速度全面翻倍:32K 從 3,300 飆到 5,733 tok/s;128K 從 2,500 飆到 5,891 tok/s,大文檔餵進去秒出首字。
    2. 超長文本(128K~256K)不再暴跌:單卡在 128K 時顯存被 KV Cache 塞滿,只能把專家模型踢到系統內存,解碼直接腰斬到 60 tok/s 甚至 39 tok/s;而雙卡 48GB 顯存讓 17,684 個專家槽位穩穩常駐,128K 依舊能以 101+ tok/s 極速輸出!
    3. 滿血 256K 超長上下文自由:這是單卡 24GB 物理上不可能達成的容量維度。

    🌡️ 七、功耗、溫度與穩定性奇蹟對比

    在沒有改動任何硬體(主卡風扇依舊故障為 0 RPM)的前提下,純粹透過上述計算分流架構,達成之熱平衡奇蹟:

    監控維度 原始預設配置 (優化前) 最終優化版本 (優化後) 改善成果與物理變化
    GPU0 主卡 (無風扇) 滿載功耗 301 W (極端高危) 175 W (低溫平穩) 功耗暴降 126 W (-41.8%)
    GPU0 主卡 (無風扇) 峰值結溫 93°C ~ 115°C (熱跳閘斷電) 80.0°C (極度安全) 結溫驟降 13°C~35°C,徹底根除死機
    GPU1 副卡 (正常風扇) 峰值結溫 88.0°C (292W) 87.0°C (296W) 副卡承擔主要散熱,系統熱平衡極佳
    待機休眠功耗 190 W (排程器不休眠自燃) 59 W (雙卡正常休眠) 待機自燃問題徹底解決

    💡 八、心得與總結

    1. AMD 雙卡 TP 潛力巨大:即便沒有綠廠的 NVLink,在沒有 PCIe P2P 直連的伺服器主板上,透過合適的並行調度和 MTP 投機解碼,雙 7900 XTX 依然能在 256K 超長上下文下跑出 110+ tok/s、代碼 125+ tok/s 的驚人速度,性價比極高。
    2. MoE 專家互斥是雙卡靈魂:STRATA_DISJOINT_ADAPT: 1 不僅擴大了顯存可用容量,更直接改變了計算分流架構,成為拯救散熱不良顯卡的奇蹟開關。
    3. 系統層調優不可忽視:在跨卡走 Host 記憶體轉發的架構下,CPU 鎖頻 performance 和 Linux 透明大頁(THP)對縮減 Prefill 首字延遲(-23%)至關重要。

    希望這份實測數據與參數分享,能幫到同樣在折騰 AMD 雙卡大模型的朋友們少走彎路!

    xiongjie gaoX 1 条回复 最后回复
    1
    • CHIA AN YANGC CHIA AN YANG

      【分享】雙卡 RX 7900 XTX 榨乾 Qwen3.8-Flash-Next 256K:Strata TP 調校指南與無 P2P 性能逆襲

      很多玩本地大模型的朋友都覺得 AMD 顯卡(RDNA3)在多卡張量並行(TP)上生態不如綠廠,尤其是在沒有 NVLink、主板又開不了 P2P DMA 直連的情況下,跨卡延遲往往會把性能吃光。

      這次在伺服器上實測了兩張 RX 7900 XTX 24GB,運行 Qwen3.8-Flash-Next (IQ3_S 量化 / 256K 超長上下文)。歷經了跨 IIO Stack 走 Host 轉發、主卡風扇故障(0 RPM)導致 14 秒飆破 115°C 熱跳閘等各種地獄開局,最終透過 Strata 引擎參數重構與 Linux 系統層調優,成功將輸出速度拉到 110 ~ 125 tok/s,輸入首字延遲縮短 23%,同時把原本狂飆 300W 的主卡功耗壓制到 175W,低溫穩跑!

      把這套實測調優經驗整理成文,供同樣在折騰 AMD 雙卡跑大模型的朋友參考。


      🖥️ 一、測試硬體規格與拓撲

      這是一台 Intel 伺服器平台,雙卡分別插在不同的 PCIe 插槽上:

      組件 規格明細 備註說明
      主機板 技嘉 MU72-SU0 (Intel C621A 晶片組) 支援 PCIe 4.0
      處理器 Intel Xeon Gold (38 核 / 76 執行緒) 核心數多、單核頻率約 2.4~3.0 GHz
      系統記憶體 128GB DDR4 ECC Registered 四通道
      GPU 0 (主卡) AMD Radeon RX 7900 XTX 24GB PCIe Gen4 x16(實測風扇故障 0 RPM)
      GPU 1 (副卡) AMD Radeon RX 7900 XTX 24GB PCIe Gen4 x8(風扇正常運轉 ~900 RPM)
      跨卡拓撲 P2P Disabled (走 Host RAM 轉發) 跨 IIO Stack,張量同步必須經過主板內存

      ⚠️ 硬體痛點:

      1. 無 PCIe P2P 直連:兩張卡插在不同 CPU IIO Stack,跨卡通訊無法走 P2P Direct DMA,必須退回 Host RAM(GPU0 ➔ CPU 內存 ➔ GPU1),這是最大的延遲瓶頸。
      2. 主卡風扇罷工:主卡風扇讀值為 0 RPM,滿載時熱量極難排出。

      📦 二、運行模型與軟體堆疊

      • 推理引擎:Strata 引擎 v0.1.49.1(ROCm 10.1.0 / HIPBLASLt 100401)
      • 目標模型:Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S
        • 參數量與架構:48 層 Mixture-of-Experts (MoE),動態專家權重約 46.8 GiB
        • Context 長度:262,144 tokens (256K 超長上下文)
        • KV Cache:INT8 動態量化(常駐容量 32,768 tokens)
        • 投機解碼:Multi-Token Prediction (MTP) + 中文 60K Draft 詞表

      💥 三、踩坑血淚史:死機斷電與待機烘烤

      在還沒優化前,剛部署完官方預設配置就撞上了兩個大坑:

      1. 128K 超長提示詞壓測,第 14 秒整機斷電

      剛開始跑 128K(131,072 tokens)長文本基準測試時,雙卡瞬間滿載拉到 301W (GPU0) + 292W (GPU1) = 593W。
      結果運算到第 14 秒,主機無預警瞬間硬關機重開!

      • 排查定論:起初懷疑是電源不足跳閘,但實測 593W 瞬間負載時 12V 迴路毫無波動;調閱底層遙測日誌才發現,GPU0 風扇根本沒轉(0 RPM),300W 滿載下晶片結溫以每秒 +3°C 失控狂飆,14 秒直接撞上 115°C 的 AMD 矽晶片硬體急停熔斷保護,整機強制斷電。

      2. 待機時顯卡竟然在 190W 乾燒?

      停用請求後發現 GPU0 待機結溫依然高達 100°C+、功耗維持 190W。原因出在預設的 GPU_MAX_HW_QUEUES=8 會讓 AMD MES 硬體排程器持續佔滿 GPU 時間片不休眠,在無風扇狀態下等同於自燃。


      ⚡ 四、輸入(Prefill)速度優化:前後實測與改進手段

      在跨卡無 P2P 的架構下,Prompt 輸入階段需要將大量的 Token 嵌入與 KV 快取在雙卡與 Host 記憶體之間分發。

      1. 輸入速度(Prefill)優化前後數據對比

      提示詞長度場景 優化前 (預設配置) 優化後 (滿血版本) 性能提升與改善幅度
      短 Prompt (~100 tokens) 133.8 tok/s (耗時 ~730ms) 534.3 tok/s (耗時 183.4ms) 首字延遲縮短 75%(快近 3 倍)
      中長 Prompt (1.7K tokens) 1,238.9 tok/s (耗時 266.3ms) 8,707 tok/s 等效吞吐 (耗時 204.2ms) 首字響應延遲下降 23.3%
      長 Prompt (4K tokens) 2,355.2 tok/s 2,800+ tok/s 並行吞吐量持續攀升
      歷史真實請求平均輸入速度 ~180.0 tok/s 475.99 tok/s (峰值 1,202.2 tok/s) 包含不同長度 Prompt 之綜合平均
      超長文本快取命中 (130K Prompt) 首字需等待 3~5 秒 首字僅需 1.2 秒 94% 快取命中率,秒級首字吐出

      2. 輸入速度(Prefill)究竟做了哪些優化?

      • 優化招式 1:全 76 執行緒 CPU 鎖定最高頻 (performance)
        原本 Linux 預設處於節能模式,當大批 Token 透過 PCIe 進入 Host 轉發時,CPU 需要數十毫秒由 1.2GHz 提速到 3.0GHz,造成嚴重的啟動抖動。將全部 76 執行緒強制鎖定 performance 後,PCIe DMA 中斷即時處理,徹底消滅了輸入等待。
      • 優化招式 2:啟用 Linux 透明大頁 (echo always > transparent_hugepage/enabled)
        在預填大 Context 時,幾十 GB 的內存頻繁被顯卡與 CPU 映射。開啟大頁(2MB Pages)後,頁表查詢的 TLB miss(快取缺失率)暴降,大數據搬運效率顯著提高。
      • 優化招式 3:開啟非同步流水預取 (STRATA_KV_PREFETCH: 1)
        在 Prefill 計算當前 Layer 的同時,非同步流水線提前向 Host 申請下一層的 KV Cache 槽位,掩蓋了 PCIe 的傳輸等待時間。

      🚀 五、輸出(Decode)速度優化:前後實測與改進手段

      輸出解碼階段是逐個 Token 生成,極度考驗雙卡張量同步延遲、MoE 專家切換命中率與 MTP 投機解碼的準確率。

      1. 輸出速度(Decode)優化前後數據對比

      生成任務場景 優化前 (預設配置) 優化後 (滿血版本) 性能提升與改善幅度
      日常中文對話 (150 tokens) 89.2 ~ 91.4 tok/s 100.70 tok/s 成功突破 100 關卡 (+10.2%)
      中長文本生成 (200 tokens) 92.9 tok/s 96.1 ~ 102.5 tok/s 解碼穩定度顯著提高
      程式碼生成 (Python Code / 250 tokens) ~95.0 tok/s 125.60 tok/s 暴漲 +32.2%(最驚艷突破)
      歷史真實請求平均解碼速度 ~93.0 tok/s 110.29 tok/s (峰值 136.6 tok/s) 多請求累積之綜合真實解碼吞吐
      MTP 投機解碼接受率 (Draft) 50.0% ~ 68.3% 79.42% (代碼達 86.3%) 投機命中率大幅提高,重算浪費極低

      2. 輸出速度(Decode)究竟做了哪些優化?

      • 優化招式 1:增大並行線程池 (--pool-workers 16)
        原本預設僅給 8 個背景 worker,在 Xeon 38 核伺服器上根本跑不滿;調至 16 個 worker 後,完美分擔了跨卡專家換頁的排程排隊,單這項就讓解碼直接提速 10%。
      • 優化招式 2:啟用專家動態互斥分流 (STRATA_DISJOINT_ADAPT: 1) —— 最神核心!
        原本雙卡為了省事,兩邊各自快取熱門專家,白白浪費了 2,000 個重複槽位(約 4GB VRAM),且無風扇的主卡被逼著重複計算。
        開啟互斥後,主卡固定管 9,198 槽、副卡管 8,486 槽,專家分工完全不重複!
        👉 收益:有效專家槽位擴充至 17,684 槽位(+396 槽);且前向計算負載動態分流,主卡滿載功耗直接從 301W 驟降至 175W,結溫由破百降至 80°C 安全線!
      • 優化招式 3:Host 記憶體零拷貝指針輪轉 (STRATA_EXCHANGE_ROTATE: 1)
        原本跨卡張量同步要走傳統 memcpy 拷貝,改為 Zero-copy Token Pointer Swap,雙卡在共享內存直接互換虛擬內存指針,消滅了高頻解碼時的內存搬運耗時。
      • 優化招式 4:MTP 投機信心過濾 (--spec-min-p 0.70)
        原配置置信度設為 0.50,導致模型經常胡亂猜測低機率 Token,猜錯引發大量的 rollback 重算。調高至 0.70 後,只對高勝率 Token 進行投機,代碼生成的接受率直接飆升到 86.3%,解碼直接衝上 125.6 tok/s。
      • 優化招式 5:顯存預留縮減 (--vram-reserve-mib 640)
        將每張卡預留的 1024MB 縮至 640MB,省下來的顯存全部拿來擴大 Expert Cache 池,容納高達 34.4 GiB 的專家動態駐留。

      ⚖️ 六、靈魂拷問:單卡本來就跑 80~90 tok/s,雙卡到底差在哪?

      很多朋友實測雙卡後常有一種感覺:

      「我日常聊兩句、測個短對話,單卡 7900 XTX 好像就能跑 75~85 tok/s,雙卡優化完跑 96~100 tok/s,體感好像沒翻倍啊?是不是雙卡只快在 Prefill 輸入?」

      這個直覺非常準確,但也只看對了一半!
      我們在同一台機器、同版本引擎下做了嚴格的「單卡 vs 雙卡」長短文本同條件壓測,數據揭露了震撼真相:

      1. 同機器、同模型「單卡 vs 雙卡」嚴格對比成績單

      提示詞長度 單卡 7900 XTX (24GB) 雙卡 7900 XTX TP (48GB 滿血實測) 雙卡真正帶來的本質提升
      短文本 (4K tokens) Prefill: 1,294 tok/s <br> Decode: 75.0 tok/s (66~90) Prefill: 2,001.0 tok/s (+54.6%) <br> Decode: 106.3 tok/s (+41.7%) 解碼突破 100 關卡(區間 95.9~112.7 tok/s)
      中長文本 (32K tokens) Prefill: 3,316 tok/s <br> Decode: 79.3 tok/s Prefill: 5,760.7 tok/s (+73.7%) <br> Decode: 103.8 tok/s (+30.9%) 輸入飆升近 6,000 tok/s,解碼穩破百
      超長文本 (128K tokens) Prefill: 2,538 tok/s <br> Decode: 60.4 tok/s (暴跌至39~60) Prefill: 5,623.4 tok/s (+121.5% 翻倍) <br> Decode: 109.3 tok/s (+81.0% 大暴漲) 單卡顯存撞牆暴跌,雙卡穩超 109 tok/s!
      極限滿載 (256K Context) 顯存直接被 KV 吞噬,頻繁 OOM 或嚴重卡頓 穩健容納 17,684 專家槽位 (34.4GB 駐留) 雙卡 48GB 顯存的「質變」:能跑與不能跑的界線

      2. 為什麼短文本雙卡沒有翻倍?

      • 跨卡無 P2P 通信延遲:本機雙卡插在不同 CPU IIO Stack,每次生成 1 個 Token,張量同步都必須走 PCIe ➔ Host RAM ➔ PCIe。在短文本時,計算量極小,通信延遲佔比過大,抵消了並行算力。

      3. 那多花一張卡的錢,到底買到了什麼?

      1. 輸入(Prefill)速度全面翻倍:32K 從 3,300 飆到 5,733 tok/s;128K 從 2,500 飆到 5,891 tok/s,大文檔餵進去秒出首字。
      2. 超長文本(128K~256K)不再暴跌:單卡在 128K 時顯存被 KV Cache 塞滿,只能把專家模型踢到系統內存,解碼直接腰斬到 60 tok/s 甚至 39 tok/s;而雙卡 48GB 顯存讓 17,684 個專家槽位穩穩常駐,128K 依舊能以 101+ tok/s 極速輸出!
      3. 滿血 256K 超長上下文自由:這是單卡 24GB 物理上不可能達成的容量維度。

      🌡️ 七、功耗、溫度與穩定性奇蹟對比

      在沒有改動任何硬體(主卡風扇依舊故障為 0 RPM)的前提下,純粹透過上述計算分流架構,達成之熱平衡奇蹟:

      監控維度 原始預設配置 (優化前) 最終優化版本 (優化後) 改善成果與物理變化
      GPU0 主卡 (無風扇) 滿載功耗 301 W (極端高危) 175 W (低溫平穩) 功耗暴降 126 W (-41.8%)
      GPU0 主卡 (無風扇) 峰值結溫 93°C ~ 115°C (熱跳閘斷電) 80.0°C (極度安全) 結溫驟降 13°C~35°C,徹底根除死機
      GPU1 副卡 (正常風扇) 峰值結溫 88.0°C (292W) 87.0°C (296W) 副卡承擔主要散熱,系統熱平衡極佳
      待機休眠功耗 190 W (排程器不休眠自燃) 59 W (雙卡正常休眠) 待機自燃問題徹底解決

      💡 八、心得與總結

      1. AMD 雙卡 TP 潛力巨大:即便沒有綠廠的 NVLink,在沒有 PCIe P2P 直連的伺服器主板上,透過合適的並行調度和 MTP 投機解碼,雙 7900 XTX 依然能在 256K 超長上下文下跑出 110+ tok/s、代碼 125+ tok/s 的驚人速度,性價比極高。
      2. MoE 專家互斥是雙卡靈魂:STRATA_DISJOINT_ADAPT: 1 不僅擴大了顯存可用容量,更直接改變了計算分流架構,成為拯救散熱不良顯卡的奇蹟開關。
      3. 系統層調優不可忽視:在跨卡走 Host 記憶體轉發的架構下,CPU 鎖頻 performance 和 Linux 透明大頁(THP)對縮減 Prefill 首字延遲(-23%)至關重要。

      希望這份實測數據與參數分享,能幫到同樣在折騰 AMD 雙卡大模型的朋友們少走彎路!

      xiongjie gaoX
      xiongjie gaoX
      xiongjie gao
      王侯将相
      编写于 最后由 terry 编辑
      #2

      @CHIA-AN-YANG 建议你参考一下本论坛 @懒人烘培 兄弟的单于strata的参数调优项目。
      你这套设备底子不错,借鉴他的项目你还有提升空间。

      https://github.com/shawn86574-prog/x99-7900xtx-p2p
      https://github.com/shawn86574-prog/kuzuryusen

      CHIA AN YANGC terryT 2 条回复 最后回复
      1
      • xiongjie gaoX xiongjie gao

        @CHIA-AN-YANG 建议你参考一下本论坛 @懒人烘培 兄弟的单于strata的参数调优项目。
        你这套设备底子不错,借鉴他的项目你还有提升空间。

        CHIA AN YANGC
        CHIA AN YANGC
        CHIA AN YANG
        王侯将相
        编写于 最后由 编辑
        #3

        @xiongjie-gao 對我知道 我先記錄一下過程,還要繼續調 感謝分享

        1 条回复 最后回复
        0
        • XiaoteX
          XiaoteX
          Xiaote
          易有太极
          编写于 最后由 编辑
          #4

          ✅ 版主审定:本帖设为优秀,作者 +3 积分奖励,继续加油!

          奖励凭证:优秀 +3 分 · 编号 e3173-218-1

          老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

          1 条回复 最后回复
          0
          • xiongjie gaoX xiongjie gao

            @CHIA-AN-YANG 建议你参考一下本论坛 @懒人烘培 兄弟的单于strata的参数调优项目。
            你这套设备底子不错,借鉴他的项目你还有提升空间。

            terryT
            terryT
            terry
            易有太极
            编写于 最后由 编辑
            #5

            @xiongjie-gao 是的,值得借鉴,我就不抄作业了,放弃了xtx双卡方案,特么的太贵了。

            油管:https://www.youtube.com/@抡锤者

            1 条回复 最后回复
            0
            • ,terryT terry 固定了此主题
            • 懒人烘培懒
              懒人烘培懒
              懒人烘培
              王侯将相
              编写于 最后由 编辑
              #6

              确实有优化空间,可以参考我那帖子~
              https://lcz.me/topic/2694/25

              双 7900 XTX:模型本地跑,Token 随便烧!

              CHIA AN YANGC 1 条回复 最后回复
              1
              • 懒人烘培懒 懒人烘培

                确实有优化空间,可以参考我那帖子~
                https://lcz.me/topic/2694/25

                CHIA AN YANGC
                CHIA AN YANGC
                CHIA AN YANG
                王侯将相
                编写于 最后由 编辑
                #7

                @懒人烘培 感謝,我的agent抄幾個作業都失敗,這次找到你的就成功了!哈 感謝分享

                1 条回复 最后回复
                0
                • CHIA AN YANGC
                  CHIA AN YANGC
                  CHIA AN YANG
                  王侯将相
                  编写于 最后由 编辑
                  #8

                  11/19,01:12更新 抄烘焙老哥的作業成功

                  雙卡 RX 7900 XTX × Strata 優化結論報告

                  完成時間:2026-11-19 01:10 CST
                  機器:MU72-SU0 工作站(Xeon 38C/76T、2× RX 7900 XTX 24GB、128GB DDR4 REG ECC)
                  服務:strata-gsq-rco-iq3s-rdna3-8080(Strata 0.1.49.1 / ROCm 10.1 / HIPBLASLt 100401)
                  模型:qwen-flash-iq3(Qwen3.8-Flash-Next-GSQ-RCO IQ3_S,262,144 context、INT8 KV)


                  一、結論(一句話)

                  改套 lcz.me/topic/2694 的同型作業(IQ3_S + layer-split 24)後,decode 出字速度提升 23~32%,且數值正確;prefill 只有 32K 檔位微降 6%。

                  檔位 decode 舊(TP2) decode 新(作業) 變化 prefill 舊 prefill 新 變化
                  4K 107.5 132.4 +23% 1,401 1,929 +38%
                  32K 105.5 138.9 +32% 5,161 4,868 −6%
                  128K 100.2 132.1 +32% 5,492 6,020 +10%
                  262K — 122.1(單筆) — — 5,932 —

                  (單位 tok/s;兩邊各 3 次、取中位;nonce 置於 prompt 最前避免前綴快取;輸出上限 256、temperature 0)


                  二、來源:這次抄的是哪一份作業

                  • 帖:https://lcz.me/topic/2694/25「【爆卖理由+2】双7900 XTX Strata IQ3_S:262K Prefill 6,264 可抄作业」
                  • 平台:雙 RX 7900 XTX + IQ3_S + Strata RDNA3 fork(作者用 commit fc8f823,engine 0.1.43;本機 0.1.49.1)
                  • 作者成績:128K prefill 6,532、262K prefill 6,264
                  • 作者自身 A/B:關掉 DP Prefill 會掉 19%(128K)/12%(262K)→ DP Prefill 是主要槓桿

                  先前走錯的路(重要):11/17 起 Codex 抄的是 topic/2772(單路116.5、雙路合計161.1),那是 IQ3_XXS + 26/22 層 + 自改引擎源碼編譯,且量的是「長上下文快取命中後的生成速度」,不是單路 prefill。Codex 只抄參數、抄不到 patch,又照指令走 TP2,所以一直卡在約 110 tok/s。2694 在 Codex 歷史中出現次數為 0。


                  三、實際改了什麼(配置差異)

                  項目 舊(TP2) 新(作業)
                  雙卡模式 --tensor-parallel 2 --layer-split 24
                  PLE 權重 缺 --ple-gguf 補上 shard2 …-00002-of-00002.gguf
                  spec / spec-min-p 4 / 0.70 3 / 0.5
                  vram-reserve-mib 768 2048
                  pool-workers 16 8
                  STRATA_RDNA_MMVQ_WAVE 4 3
                  實驗項 adapt-every/swaps、draft_vocab、conversation-cache、整組 STRATA_TP_* 全移除,改用作業的 env 清單

                  引擎啟動日誌實證:[strata] layer split across GPUs [0, 1] (24)


                  四、量測方法(依 Skill multi-gpu-llm-bench-ops)

                  1. 先確認哪份設定是活的:容器 mount /home/jaran/.hermes/tmp/strata-rdna3-main-20261117 → /src。倉庫另一份 /home/jaran/Strata-rdna3/... 沒被掛載,改它數字不會動。
                  2. nonce 去快取:每次 prompt 最前面插 [run-<12碼隨機>]。命中快取的特徵是「wall 只有 2~3 秒卻回報 prefill 十幾 tok/s」,該筆 prefill 作廢、decode 仍可用。
                  3. 兩邊各 3 次取中位:舊配置最大雜訊出現在 4K(107.5 / 24.2 / 122.0,其中 24.2 是冷啟異常值);單筆 5~10% 一律視為雜訊。
                  4. 正確性 gate:固定題 17*23 必須回 391(WAVE=3 是社群回報會算錯的開關)。

                  原始數據(三次全列,供覆核):

                  4K    舊 dec=[107.5, 24.2, 122.0]  pre=[1412.8, 1400.6, 1122.4]
                  32K   舊 dec=[105.5, 102.5, 117.3] pre=[5565.3, 2738.4, 5161.3]
                  128K  舊 dec=[98.0, 102.6, 100.2]  pre=[5491.7, 5396.8, 5507.5]
                  4K    新 dec=[132.4, 128.6, 137.8] pre=[1901.7, 1977.3, 1929.0]
                  32K   新 dec=[141.5, 136.1, 138.9] pre=[4222.0, 4947.1, 4868.4]
                  128K  新 dec=[143.4, 124.2, 132.1] pre=[6580.7, 4789.1, 6019.6]
                  262K  新 pre=5932.0  dec=122.1(單筆)
                  

                  五、試過但無效(別再重複踩)

                  • --spec 4 + --spec-min-p 0.70 + STRATA_ROUTE_PRIOR=1.0 + --expert-profile-save + WATCHDOG=180 這組 bundle:實測 32K decode 只有 92.4 / 96.1 / 99.0,未見可證實提升(在雜訊範圍內),已回滾。
                  • 只單獨加 STRATA_ROUTE_PRIOR=1.0:4K 105.1、32K 104.1、128K 99.2 → 亦是雜訊。
                  • 論壇 topic/3060 明確列為負收益:STRATA_SH_STREAM=1(掉到 49)、PF_FUSED_KQ / PF_F16(慢 5~14%)、RDNA_MMVQ_WAVE=3 在舊引擎會算錯、ROUTE_PRIOR=1.25 會算錯、GR_RDNA=1 較慢。

                  六、真正的天花板:硬體層(尚未處理)

                  amd-smi topology ACCESS TABLE
                    0000:53:00.0  ENABLED   DISABLED
                    0000:c5:00.0  DISABLED  ENABLED      ← 兩卡間 P2P = DISABLED
                  WEIGHT=40  HOPS=2  LINK=PCIE
                  
                  lspci Region 0 = 256M(7900 XTX 開 ReBAR 應為 16G/24G)
                  /proc/cmdline: 無 iommu=pt、無 pci=realloc
                  
                  • P2P 關閉 + ReBAR 未開 是雙卡跨卡搬激活/KV 的硬瓶頸,也是社群 peer 模式(decode 73~77 vs 層切分 36.7~59.6)我們吃不到的原因。
                  • 解法只有進 BIOS:Above 4G Decoding ON、Resizable BAR ON(必要時 ACS off、VT-d on),可再加 kernel 參數 iommu=pt pci=realloc。
                  • 驗收標準:lspci -vv 的 Region 0 變成 16G/24G;amd-smi topology 的 ACCESS TABLE 變 ENABLED。

                  七、證據、回滾、現況

                  • 生效設定:/home/jaran/.hermes/tmp/strata-rdna3-main-20261117/rdna3/configs/iq3-2gpu.json
                  • 回滾(舊 TP2):iq3-2gpu.json.bak_20261118_235222_before_lcz2694_replica
                  • 作業版快照:/home/jaran/.hermes/tmp/lcz2694_v1.json
                  • 量測腳本:/home/jaran/scripts/strata_quick_bench.py
                  • A/B 腳本:/home/jaran/scripts/strata_ab_baseline3.sh(自動 revert → 3 輪 → 還原)
                  • 數據:~/.hermes/cache/scratch/strata_bench_base3_r*.json、strata_bench_lcz2694_*.json
                  • 現況讀回(01:10):容器 Up 34 minutes、{"status":"ok","max_context":262144,"loaded":true}、17*23 → 391

                  八、待辦

                  1. BIOS 開 Above 4G Decoding + Resizable BAR(提升上限最大的一步)
                  2. 每日算術回歸(17*23、99*99),防 WAVE=3 哪天開始算錯
                  3. 32K prefill −6% 需再做一輪針對性 A/B(候選:--pipeline-windows 2 開/關)
                  4. 262K 目前只有單筆,補到 3 次取中位
                  5. GPU0 風扇 0 RPM 的物理檢修(白天報告 §8 已列)
                  1 条回复 最后回复
                  0

                  你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                  厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                  有了你的建议,这篇帖子会更精彩哦 💗

                  注册 登录
                  回复
                  • 在新帖中回复
                  登录后回复
                  • 从旧到新
                  • 从新到旧
                  • 最多赞同


                  • 登录

                  • 登录或注册以进行搜索。
                  • 第一个帖子
                    最后一个帖子
                  0
                  • 版块
                  • 最新
                  • 标签
                  • 热门
                  • 用户
                  • 群组