Qwen3.8-Flash-Next（125B MoE）在 16GB 顯卡上跑起來全紀錄。測試日期：2026-10-01。

之前都是測Halogen玩太開心了，又看到這新的推論引擎感覺可玩性有，先實測看看
我手上遊戲機也拿來跑看看這推論引擎，這張卡是RX9070無印版
重點在於版上大多是32G/24G的卡在測，但我16G的卡跑起來算還能接受的速度，現在硬件都貴反而這樣做很省錢

1. 系統環境（軟硬體）

2. Strata 介紹＋模型介紹

Strata（Niko1221/Strata，3.2k star，MIT）是專門跑 Qwen3.8-Flash-Next
的消費級推理方案，底層魔改 llama.cpp/ggml。

2.1 模型：Qwen3.8-Flash-Next（本次用 IQ2_XS）

GGUF 元數據（qwen4exp，以本次 IQ2_XS 檔為準）：

2.2 執行方式與 HIP backend

• Niko1221/Strata（3.2k star，MIT）：專門跑 Qwen3.8-Flash-Next 的消費級推理方案，底層魔改 llama.cpp/ggml。
• 核心思想是異構執行：MoE 只有 ~10/24576 個專家參與每個 token——常用專家放顯卡（.67 上約 7610 個，10GB）、全部放 RAM（常駐 ~26GB）、冷門丟 CPU 算、SSD 放 PLE 表。16GB 顯卡＋64GB RAM 就能跑 125B。
• 另有 MTP 推測解碼（小模型先猜 4 個，大模型一次驗；本次實測接受率 67~100%，通常八成——見 §5 MTP 覆核）。
• AMD HIP backend 是 experimental（docs/AMD_HIP.md），2026-09-30 剛在 RX 9070 XT 上驗過。限制：單卡、無圖片、無校準、Monitor 無 GPU 統計、約 1/10 啟動輸出漂移（官方未解釋）。

3. 配置流程教學

# 1. clone（放 SSD）
git clone --depth 1 https://github.com/Niko1221/Strata ~/strata

# 2. 一鍵安裝（自動選 hip：無 N 卡時自動用；或顯式指定）
#    會：裝 .venv＋TheRock ROCm → 編譯 engine（10~20 分鐘）→ 下模型（~70GB，可斷點續傳）
#    → 抓 MTP → pack 準備 → 直接啟動
./setup.sh --backend hip --family qwen --model IQ2_XS \
  --context 32768 --vision no --yes

# 3. 改 context 上限：改 ~/strata/strata-iq2_xs.json 內 --max-context，
#    殺掉舊 server 重起即可（30 秒，experts 有緩存）。實測 131072→262144 都是一次過。
pkill -f 'serve.server'; pkill -f 'engine/strata'
# （改 json）後：
cd ~/strata && .venv/bin/python -m serve.server \
  --engine strata --config strata-iq2_xs.json --port 8080 &

# 4. 健康檢查
curl http://127.0.0.1:8080/health
# {"status":"ok","max_context":262144,...,"loaded":true}

注意：

• 首次啟動 RAM 會吃到 40GB＋，整台卡 1~3 分鐘正常，不要關。
• 殺進程要用 pkill -f 'serve.server'（不是 serve/server.py，對不上）。
• 開機自啟還沒設（現在是前台進程，重開就沒了；要加 systemd 說一聲，5 分鐘的事）。
• 跟 gufo 搶 8080 port，一次只能跑一個。

4. 速度實測（冷 KV，每檔獨立新對話，cached=0）

4.1 context sweep（IQ2_XS，c262K）

• prefill 16~64K 封頂 ~900，250K 回落 -22%（RAM 57/62GB＋attention 計算量＋SSD pagecache 三重擠壓——外加 VRAM 共犯，見下）。
• decode 全程一條直線 29~47，跟長度無關；短問答 prefill 百來、decode 四十，體感只看 decode。
• MTP 全長度 2/3＋接受率很一般。

4.2 MTP四種情境（ctx 32K，思考關，temperature 0）

先說結論，16G的卡有蠻高的權重比例是切到host RAM中跑，是decode的瓶頸
（短答案 64 tok 上限、散文/代碼 400、日本 JSON 200；全是 content token，
reasoning 關掉不摻水）。

解讀：

1. 代碼 > JSON > 散文 ≈ 短答案：draft 猜的是 token 分布——程式語法的確定性最高（關鍵字、縮排、括號都是送分題），JSON 次之（key 可預測、value 現編），散文每個詞都是自由發揮。跟 VRAM 無關，純粹是資訊熵。
2. 短答案數字低是假象（4 個 token 全是固定開銷）；真實寫作看散文 28.5，寫 code 看 39.4。
3. 日常結論：寫程式 40、聊天 35、寫文章 28。

4.3 prefill 同樣卡在 16GB（跟 decode 同一個天花板）

直覺以為 prefill 是 compute-bound、跟顯存無關——錯。MoE 的 prefill 每層要碰全部被點到的專家（32K prompt 基本全軍覆沒，24576 個跑一遍），只有三成在 VRAM，剩下全從 RAM 現抓＋CPU 分擔：

• 鐵證（官方 RDNA4 表，同模型同設定）：R9700（32GB，cache 大一倍）prefill 快 20~25%（982→1402 vs 9070 782→1235）。多出來的 VRAM 直接變速度——跟 decode 的 45→30 同一個故事。
• 我們的曲線：16~64K 封頂 ~900 上不去（prompt 再長也沒用——cache 就那麼大，miss 率下不來）；250K 跌到 731 是 RAM 見底＋attention 平方項＋cache 抖動三殺。
• 跟 gufo 不可比：它 252 是 27B dense 全放 VRAM 的 compute-bound；這邊是 125B MoE 的 fetch-bound。兩個不同的屋頂。
• 結論：prefill 和 decode 卡同一塊 16GB——一個是每 token 付一次（decode，慘），一個是每 prompt 攤一次（prefill，勉強能看）。想動 prefill 上限，一樣只有加 VRAM 一條路。

4.4 正確性抽查

• 12×12＝144 ✓（附推理過程）
• 英文短篇故事連貫，有敘事弧（另：它是思考模型，不設 reasoning_effort 會把 token 全花在思考上，content=null——設 low 即正常）。
• 23K prompt 灌入：prefill 946 tok/s，窗口真實可用。

4.5 上下文上限

• GGUF 元數據：48 層 ×（2 KV頭×512維＋4 indexer頭×128）× int8 ≈ 72KB/token。
• 模型原生 262144（免 rope 硬扩；384K/512K 才要 yarn，官方 experimental）。
• 262144 已開機驗證可用（載入 30 秒，RAM 37GB，144 ✓）。滿 262K 對話約 57/62GB——跑得動，別同時開瀏覽器；128K 是甜蜜點，262K 是天花板。

5. Agent 能力實測（ReAct harness t1–t8，2026-10-01）

方法：agent_bench_v2.py（8 題工具調用：搜尋／計算鏈／故障恢復／修 bug／
安全拒絕／讀 log／照抄數字／工具查檔，15 turns 上限，loop＋nuke trap，
temperature 0.4）

解讀（文檔自己先打了預防針：通過率是隨機變量，看趨勢就好）：

1. 同分同掛點：兩邊都栽在 t3（重打同 call）和 t8（該用 workspace 工具卻走 shell／查錯檔）——這是模型家族的工具偏好，不是哪台機器的問題。
2. tps 同帶：Strata 地板略高（17.7 vs 13.9），都是工具重題慢、純生成快。
3. 安全：本次零違規；但 halogen run2 證明 t5 是機率性的——工具層硬擋不能少，prompt 寫再多都不算數（文檔原話，贊同）。
4. 差異聲明：halogen 那邊是 5.53bpw 特殊量化＋0.14.2，這邊是 IQ2_XS；題目據文檔說重寫過——趨勢對齊即可，不宣稱 apple-to-apple。

6. 結論與未來計畫

結論：RX 9070＋64GB RAM 是跑 Strata 的標準身材。125B MoE decode 30~40 tok/s 全長度不掉，c262K 可用——同卡 gufo 只能跑 27B/21 tok/s。HIP backend 雖標 experimental，但實測正確性、速度、穩定性都達標。

已做：安裝、編譯、IQ2_XS 上線、ctx sweep、262K 驗證、agent bench。
待做（按優先順序）：

1. 要圖片輸入只能等上游（HIP vision helper 還是 NVIDIA-only）
2. 384K/512K yarn 超頻（experimental，RAM 先加現在 62GB 不夠）
   3.最近在研究開源GUFO引擎的代碼，找出能否將那邊的概念移植到這個引擎讓prefill變得更快
   4.這版的MTP Draft接受度還有提升的空間，感覺輸Halogen特調蠻多的，否則decode還有提升空間