Strata × RDNA2：6000 系老卡跑 125B，近期 prefill 大補血
-
是說N卡好幾天前就把Turing跟Volta都搞起來了
現在RDNA2的卡更新也沒啥稀奇
但RDNA2就是便宜呀....之前玩遊戲用RDNA2的卡真的是性價比很高的選擇
我當年RX6800XT礦災時早割愛了無法實測，看到這更新就是生態的完整度又往上一層樓
之後再有人把PS5或XBox模改成AI機也不稀奇了整理日期：2026-10-12
對象：RX 6800 / 6800 XT / 6900 XT / 6950 XT（gfx1030）、RX 6700 XT（gfx1031）
模型：Qwen3.8-Flash-Next 125B（MoE）+ 64GB RAM 的混合推論Strata（Niko1221/Strata，14.7k stars）讓「16GB 老顯卡 + 64GB 記憶體」跑得動 125B MoE。
RDNA2 在官方支援清單內（社群驗證、維護者未驗證），0.1.39/0.1.40 兩版把 RDNA2 的 prefill 從「難用」修到「能用」：- 同機 A/B：
STRATA_HIP_PROMPT_F16=1讓 6900 XT 的 prompt 速度 439/466/461 → 744/915/926 tok/s（+67%~+100%） - 跨機版本推進（不同機器，僅供參考）：0.1.30 時代 330 tok/s → 0.1.39+開關 926 tok/s
- Windows 一鍵安裝已收編 gfx1030（gfx1031 從 0.1.40.2 起）
- 雙 6900 XT 平衡切分下 prefill 推估 ~1,800 tok/s 級，進入 RDNA3/Volta 雙卡同一檔位
為什麼 RDNA2 之前 prefill 慢
gfx1030 的 rocBLAS 只有 FP16-in / FP16-out 的調優 kernel；Strata prompt 路徑原本的
FP16-in/FP32-out 與 BF16 GEMM 全部落到 generic kernel，實測 慢 6.6×
（5.6 / 5.3 TFLOPS vs 調優的 37.7 TFLOPS）。另外 ROCm 不發 gfx1030 的 hipBLASLt kernel，
沒有調優表可用。0.1.39 的修法：
STRATA_HIP_PROMPT_F16=1（opt-in，gfx103x 啟動時會印提示）讓 16-bit
prompt GEMM 改走 FP16 in/out。輸出與原路徑非 bit-identical（FP16 取代 BF16 的四捨五入），
分佈檢查見下方基準連結。近期（0.1.39–0.1.42）RDNA2 相關變更
項目 說明 STRATA_HIP_PROMPT_F16=1（#835）上面那個 6.6× 的救星，RDNA2 prefill 最大單一改善 STRATA_DENSE_MMQ=1（#820，0.1.40）dense 投影改走 int8 MMQ kernel 代替 dequantize+hipBLAS；6900 XT 4K prompt 436→757 tok/s（注意：greedy 輸出幾十 token 後會與預設路徑分岔，q8_1 活化取捨五入） STRATA_HIP_ADAPT_KERNEL_COPY=1（#884，0.1.40）adaptive tier 的 swap 改用 kernel 複製代替 SDMA，gfx1030 掛死 workaround（MMQ prompt 路徑 + adaptive swap 組合會 hang） STRATA_SH_STREAM（#816/#1272）shared-expert fork 在 HIP 上預設關；Linux RX 6000 可試 =1：2×6900 XT 實測 decode +5~13%（單卡 47.5/46.9/48.3 → 50.5/48.5/51.3 tok/s），輸出完全相同Windows WDDM 修復（#377/#380） hipMemGetInfo不扣桌面佔用 → expert cache 爆 VRAM、decode 41→30 的 bug 已修（RX 6800 桌面機回報）Windows 預編譯 strata-windows-x64-hip.zip含 gfx1030（gfx1031 自 0.1.40.2）→ START-HERE.bat 一鍵ROCm wheel 專開 gfx103X-all索引（#1103，7.13 起），未驗證；Linux 建議走系統 ROCm 7 手編社群實測數據（125B Flash-Next）
配置 引擎/環境 decode prefill 單 6900 XT 16G（i7-13700KF，63G RAM，NixOS，ROCm 7.2.3） 0.1.30，IQ3_XXS，131K ctx 38-42 246@2K / 330-339@8K chunk 單 6900 XT（R5 5600X，128G，Ubuntu，ROCm 10.0.0）——同一台雙卡機 0.1.39，IQ3_S，F16 開關 off→on 不變 439/466/461 → 744/915/926（9.4K/34.7K/105.8K） 單 6900 XT（同上機） 0.1.40， STRATA_DENSE_MMQ=1— 4K：436→757 單 6800（Windows，桌面機） 0.1.3x 41（WDDM 修復後） — 
️ 跨行不可直接比：CPU、RAM、引擎版本、量化、context 都不同。
唯一嚴謹的 A/B 是 5600X 那台的 F16 開關對比（同機同引擎）。雙卡（2×6900 XT）
- 分層流水線：兩段並行，總時 = max(兩段)；同卡平衡切分 ≈ 2× 單卡 prefill
--layer-split必須手動設平衡值：auto的成本模型對 prefill 是瞎的
（#509 實測 auto 比平衡切分慢 2.86×；維護者：prompt-heavy 就手動設 K）- 推估：雙卡 + F16 開關 ≈ 1,800 tok/s 級 @32K（對標 2×TITAN RTX 實測 1,549、2×V100 16G ~1,400-1,600）
上手（RDNA2 專用清單）
- Windows：下載 Strata →
START-HERE.bat（自動選 HIP 後端，預編譯含 gfx1030/1031）
Linux：./setup.sh --backend hip（系統 ROCm 7 最穩；wheel 路徑未驗證） - 設定檔加環境變數（建議）：
STRATA_HIP_PROMPT_F16=1（prefill 必開）STRATA_DENSE_MMQ=1（再快一截，接受輸出微分岔才開）STRATA_HIP_ADAPT_KERNEL_COPY=1（遇到 prefill 掛死再開）- Linux 可試
STRATA_SH_STREAM=1（decode +5~13%）
- 避開
--mmap-experts（#920：RX 6800 上會卡死） - 16GB 卡保持預設的
--pcie-frac/--adapt-every（照 7900 XTX 配置調低會各賠 8.6 / 13.6 tok/s） - 量速用
BENCH.bat/tools/strata_bench.py
定位與風險
- 單卡檔位：6700 XT（30-32）< 3060 級 < 6900 XT（38-51 decode / 744-926 prefill） < 9070 級
- 狀態 = 社群驗證、維護者未驗證（CMake 對 gfx1030 標 unvalidated，build 會 warning）
- 沒有 matrix core 不影響 decode（dp4a 同代指令）也不影響 QSA scorer（兩代同走 FP32 fallback）；
RDNA2 的差距在頻寬（decode）與 kernel 覆蓋率（prefill，已大部分補上） - RDNA1（RX 5500 XT，gfx1012）只能手編，見 OLDER_GPUS.md
連結
- 同機 A/B：
-
-
-
-
-
@terry Flash Next模型架構 跟 Strata根本是行業革命，這多少會影響整個行業生態，拭目以待
