先前版本測試過在這 Qwen3.8-Flash-Next（125B MoE）在 16GB 顯卡上跑起來全紀錄。
本次實測版本：上游 v0.1.34

進步很多 比魔改的還要快，開源的好處就是集大成

1. 系統環境（軟硬體）

2. Strata 介紹＋模型介紹

Strata（Niko1221/Strata，MIT）是專門跑 Qwen3.8-Flash-Next 的消費級推理方案，底層魔改 llama.cpp/ggml。

2.1 模型：Qwen3.8-Flash-Next（本次用 IQ2_XS）

GGUF 元數據（qwen4exp，以本次 IQ2_XS 檔為準）：

2.2 執行方式與 HIP backend

• 核心思想是異構執行：常用專家放顯卡（約 7610 個，10GB）、全部放 RAM（常駐 ~26GB）、冷門丟 CPU 算、SSD 放 PLE 表。16GB 顯卡＋64GB RAM 就能跑 125B。
• AMD HIP backend 是 experimental（docs/AMD_HIP.md），限制：單卡、無圖片、無校準、Monitor 無 GPU 統計、約 1/10 啟動輸出漂移（官方未解釋）。

3. 配置流程教學

# ---- 0. 前提：遊戲機！先確認沒人在玩（GPU use ~0），全程低調 ----
# ---- 1. 指定版本裝起來（驗證機器能跑）----
git clone --depth 1 --branch v0.1.34 https://github.com/Niko1221/Strata ~/strata-0134
cd ~/strata-0134
CMAKE_BUILD_PARALLEL_LEVEL=8 nice -n 19 ./setup.sh --backend hip \
  --family qwen --model IQ2_XS --context 32768 --vision no \
  --port 8081 --data-dir ~/Strata-data --yes
# 數據重用（模型/pack/MTP 共用，不重下 70GB）；編譯限 8 線程低優先，不卡遊戲
# 跑完直接在 8081（venv 11GB＋編譯約 10 分＋啟動）

# ---- 2. 推到 262144：改 strata-iq2_xs.json 內 --max-context，殺掉重起（30 秒） ----
pkill -f 'serve.server'; pkill -f 'engine/strata'  # 兩個都要！缺一留殭屍佔 VRAM
# （改 json）後：
cd ~/strata-0134 && .venv/bin/python -m serve.server \
  --engine strata --config strata-iq2_xs.json --port 8081 &

# ---- 3. 健康檢查＋冒煙 ----
curl http://127.0.0.1:8081/health
# {"status":"ok","max_context":262144,...,"loaded":true}
curl http://127.0.0.1:8081/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"max_tokens":64,"messages":[{"content":"What is 12 times 12? Reply with just the number.","role":"user"}],"model":"qwen3.8-flash-next-iq2_xs","reasoning_effort":"off","temperature":0}'
# CONTENT: '144'

# ---- 4. 日常開關（遊戲機：用完就關，不要常駐） ----
# 啟動：同上；停止：兩個 pkill（見上）；切換版本：換目錄重起，30 秒
# 開機自啟：不設（遊戲機，明確不要）

注意：

• 首次啟動 RAM 會吃到 40GB＋，整台卡 1~3 分鐘正常，不要關。
• 換引擎/版本前先確認 VRAM 真乾淨（hipMemGetInfo 為準，rocm-smi 會漏看殭屍佔用——血淚見 §6）。
• 跟 gufo 搶 8080 port——本機現在一律用 8081，8080 留空避免打架。

4. 速度實測

條件：冷 KV（每檔獨立新對話，cached=0）、思考關、temp 0；除標註外皆 c262K。
版本標籤：M＝主線 0.1.30、F＝fork、V＝v0.1.34（現役）。
短答案 tok/s 是思考長度的函數（4-tok 版 26~30 vs 含思考 50 版 47~56）——報短答案必須附 token 數。

4.1 Decode 四種情境 速度與接受度（三版本同場，c262K，思考關，temp 0）

解讀：代碼 > JSON > 散文 ≈ 短答案（draft 猜 token 分布，語法鋼板最好猜）。v0.1.34 全線贏之前版本一大截（代碼 +29%），這次優化應該是提升帶寬而不是提高mtp接受度。

4.2 prefill 全掃：三版本（冷 KV）

解讀：v0.1.34 短中段再往上頂一格（16K 1319 全場最高；官方說「同速」是保守了），64K 以上三版一起撞牆（RAM/VRAM 物理定律）；sweep 的 decode 是小結論口徑（36~66），跟 4.3 長文口徑別混比。

4.3 prefill 同樣卡在 16GB（跟 decode 同一個天花板）

• MoE prefill 每層碰全部被點到的專家，三成在 VRAM，剩下 RAM 現抓＋CPU 分擔。
• 鐵證（官方 RDNA4 表）：R9700（32GB）prefill 快 20~25%。多出來的 VRAM 直接變速度。
• 16~64K 封頂上不去；250K 跌是 RAM 見底＋attention 平方項＋cache 抖動三殺。
• 跟 gufo 不可比：它 252 是 27B dense 全放 VRAM 的 compute-bound；這邊是 fetch-bound。兩個屋頂。
• 結論：prefill 每 prompt 攤一次、decode 每 token 付一次，稅務局都是那 16GB。

4.4 正確性抽查

• 12×12＝144 ✓（v0.1.34 複驗通過；附推理過程）
• 英文短篇故事連貫，有敘事弧（思考模型：不設 reasoning_effort 會把 token 全花在思考上——設 low/off 即正常）。
• 23K prompt 灌入：prefill 946 tok/s，窗口真實可用。

4.5 上下文上限

• GGUF 元數據：48 層 ×（2 KV頭×512維＋4 indexer頭×128）× int8 ≈ 72KB/token。
• 模型原生 262144（免 rope 硬扩；384K/512K 才要 yarn，官方 experimental）。
• 262144 已開機驗證可用（載入 30 秒，RAM 37GB，144 ✓）。滿 262K 對話約 57/62GB；128K 是甜蜜點，262K 是天花板。

5. 結論

結論：.67（RX 9070＋62GB RAM）跑 125B MoE，現役 v0.1.34：散文 45、代碼 57、prefill 最高 1319、c262K流暢運行
VRAM 只進三成專家（7610/24576），每 token 480 次專家求值近七成不在卡上。
miss 的專家兩條路——PCIe 抓回 GPU 算（看頻寬，本機實測 H2D 26.6GB/s），
或 CPU 直接算（看 CPU；本機無 AVX-512，engine 日誌確認走 AVX2 路徑）。
pcie-frac 就是調這兩路比例的旋鈕。

decode（每 token 付一次，最痛）：。

1. PCIe 來回延遲＋頻寬——小矩陣傳輸，延遲占比高。
2. CPU 少核爆發力——decode 的 expert GEMM 小，並行度有限。
3. 對 CPU 計算來說，主導的是系統RAM帶寬不是延遲。**
   本機 DDR5-6000 雙通道，理論 96GB/s，實際約 70~75。
   CPU expert 是 streaming 負載（GEMV，幾乎無重用）：每 token 最多幾百 MB 權重
   要從 RAM 過一遍，頻寬 ÷ 流量 ＝ 速度上限。70GB/s 就是那部分的硬天花板。

prefill（每 prompt 攤一次，重但可並行）：

1. CPU 總吞吐（核數×ISA）——Prefill全核火力全開，跟 decode 相反。Intel沒有AVX-512、如果換AMD Zen4以上更快。
2. PCIe 頻寬——傳輸派的分量，26.6GB/s 是死的；x8 的機器先打對折
3. RAM 總頻寬——CPU＋GPU 同時從 RAM 拿東西，DDR5 總頻寬是共用天花板（250K 時這裡最擠）。
   同上：本機 70~75GB/s 實際頻寬是 CPU 那份的天花板

一句話：decode 看 CPU 單核爆發＋PCIe 延遲+系統RAM帶寬，prefill 看 CPU 總吞吐＋PCIe/RAM 頻寬；VRAM 決定幾成要走這條路（我們是七成），MTP 決定走幾次（接受率越高，同樣的專家重複利用率越高）。

這推論速度噴字最快到60tps我認為很夠使用了，畢竟電腦是去年搞來玩steam的當時行情約台幣四萬元。
我是很想看有沒有DDR3+RX6800 16G的實測，如果還算能接受或許是現在行情中性價比最高解了。