整理日期：2026-10-12
對象：RX 6800 / 6800 XT / 6900 XT / 6950 XT（gfx1030）、RX 6700 XT（gfx1031）
模型：Qwen3.8-Flash-Next 125B（MoE）+ 64GB RAM 的混合推論

Strata（Niko1221/Strata，14.7k stars）讓「16GB 老顯卡 + 64GB 記憶體」跑得動 125B MoE。
RDNA2 在官方支援清單內（社群驗證、維護者未驗證），0.1.39/0.1.40 兩版把 RDNA2 的 prefill 從「難用」修到「能用」：

• 同機 A/B：STRATA_HIP_PROMPT_F16=1 讓 6900 XT 的 prompt 速度 439/466/461 → 744/915/926 tok/s（+67%~+100%）
• 跨機版本推進（不同機器，僅供參考）：0.1.30 時代 330 tok/s → 0.1.39+開關 926 tok/s
• Windows 一鍵安裝已收編 gfx1030（gfx1031 從 0.1.40.2 起）
• 雙 6900 XT 平衡切分下 prefill 推估 ~1,800 tok/s 級，進入 RDNA3/Volta 雙卡同一檔位

為什麼 RDNA2 之前 prefill 慢

gfx1030 的 rocBLAS 只有 FP16-in / FP16-out 的調優 kernel；Strata prompt 路徑原本的
FP16-in/FP32-out 與 BF16 GEMM 全部落到 generic kernel，實測 慢 6.6×
（5.6 / 5.3 TFLOPS vs 調優的 37.7 TFLOPS）。另外 ROCm 不發 gfx1030 的 hipBLASLt kernel，
沒有調優表可用。

0.1.39 的修法：STRATA_HIP_PROMPT_F16=1（opt-in，gfx103x 啟動時會印提示）讓 16-bit
prompt GEMM 改走 FP16 in/out。輸出與原路徑非 bit-identical（FP16 取代 BF16 的四捨五入），
分佈檢查見下方基準連結。

近期（0.1.39–0.1.42）RDNA2 相關變更

社群實測數據（125B Flash-Next）

️ 跨行不可直接比：CPU、RAM、引擎版本、量化、context 都不同。
唯一嚴謹的 A/B 是 5600X 那台的 F16 開關對比（同機同引擎）。

雙卡（2×6900 XT）

• 分層流水線：兩段並行，總時 = max(兩段)；同卡平衡切分 ≈ 2× 單卡 prefill
• --layer-split 必須手動設平衡值：auto 的成本模型對 prefill 是瞎的
  （#509 實測 auto 比平衡切分慢 2.86×；維護者：prompt-heavy 就手動設 K）
• 推估：雙卡 + F16 開關 ≈ 1,800 tok/s 級 @32K（對標 2×TITAN RTX 實測 1,549、2×V100 16G ~1,400-1,600）

上手（RDNA2 專用清單）

1. Windows：下載 Strata → START-HERE.bat（自動選 HIP 後端，預編譯含 gfx1030/1031）
   Linux：./setup.sh --backend hip（系統 ROCm 7 最穩；wheel 路徑未驗證）
2. 設定檔加環境變數（建議）：
   • STRATA_HIP_PROMPT_F16=1（prefill 必開）
   • STRATA_DENSE_MMQ=1（再快一截，接受輸出微分岔才開）
   • STRATA_HIP_ADAPT_KERNEL_COPY=1（遇到 prefill 掛死再開）
   • Linux 可試 STRATA_SH_STREAM=1（decode +5~13%）
3. 避開 --mmap-experts（#920：RX 6800 上會卡死）
4. 16GB 卡保持預設的 --pcie-frac / --adapt-every（照 7900 XTX 配置調低會各賠 8.6 / 13.6 tok/s）
5. 量速用 BENCH.bat / tools/strata_bench.py

定位與風險

• 單卡檔位：6700 XT（30-32）< 3060 級 < 6900 XT（38-51 decode / 744-926 prefill） < 9070 級
• 狀態 = 社群驗證、維護者未驗證（CMake 對 gfx1030 標 unvalidated，build 會 warning）
• 沒有 matrix core 不影響 decode（dp4a 同代指令）也不影響 QSA scorer（兩代同走 FP32 fallback）；
  RDNA2 的差距在頻寬（decode）與 kernel 覆蓋率（prefill，已大部分補上）
• RDNA1（RX 5500 XT，gfx1012）只能手編，見 OLDER_GPUS.md

連結