Strata v0.1.34版 RX9070 16G Steam遊戲機也來測Flash Next

dardeaw feng

Strata on RX 9070 實戰摘要

先前版本測試過在這 Qwen3.8-Flash-Next（125B MoE）在 16GB 顯卡上跑起來全紀錄。
本次實測版本：上游 v0.1.34

進步很多比魔改的還要快，開源的好處就是集大成

1. 系統環境（軟硬體）

項目	內容
OS	Nobara Linux（steam遊戲機）
CPU	Intel Ultra 7 265K（20 核），RAM 64GB DDR5-6000
GPU	AMD RX 9070 16GB（gfx1201，RDNA4，56CU）
系統 ROCm	7.2.4（`/opt/rocm`，Strata 未採用——自帶 TheRock 7.10 wheels 進 `.venv`，約 11GB）
磁碟	NVMe 1.9T（/home 可用 1.1T）；`~/strata-0134`（v0.1.34 現役）＋`~/Strata-data`（模型 ~70GB＋pack＋build）＋`~/strata`（主線 0.1.30，備胎）＋`~/strata-fork`（已退役，12GB 可刪）
模型	Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS（2 shard：39GB 權重＋29GB PLE 查找表）＋MTP draft 層（setup 自動抓，約 5GB）
線上配置	v0.1.34 預設（spec/min-p 未動），c262K，`--kv int8`，serving 在 8081

2. Strata 介紹＋模型介紹

Strata（Niko1221/Strata，MIT）是專門跑 Qwen3.8-Flash-Next 的消費級推理方案，底層魔改 llama.cpp/ggml。

2.1 模型：Qwen3.8-Flash-Next（本次用 IQ2_XS）

GGUF 元數據（qwen4exp，以本次 IQ2_XS 檔為準）：

項目	值
總參數	125B（MoE），每 token 只激活約 6B
層數	48；每層 512 個專家（共 24576），每 token 路由 10 個
注意力	GQA：24 頭／2 KV 頭，head dim 256；另有 indexer（4 頭 ×128，DeepSeek 式）
混合架構	注意力＋SSM（inner 6144，state 128）＋MoE，embedding 2560
原生 ctx	262144（免 rope 硬扩；384K/512K 才要 yarn）
本次量化	IQ2_XS：39GB 權重 shard＋29GB PLE 查找表 shard＋MTP draft 層（約 5GB）
同門版本	Coder（砍半專家，32GB RAM 可跑）、Swift 1.5（短思考版）——本次未用

2.2 執行方式與 HIP backend

核心思想是異構執行：常用專家放顯卡（約 7610 個，10GB）、全部放 RAM（常駐 ~26GB）、冷門丟 CPU 算、SSD 放 PLE 表。16GB 顯卡＋64GB RAM 就能跑 125B。
AMD HIP backend 是 experimental（docs/AMD_HIP.md），限制：單卡、無圖片、無校準、Monitor 無 GPU 統計、約 1/10 啟動輸出漂移（官方未解釋）。

3. 配置流程教學

# ---- 0. 前提：遊戲機！先確認沒人在玩（GPU use ~0），全程低調 ----
# ---- 1. 指定版本裝起來（驗證機器能跑）----
git clone --depth 1 --branch v0.1.34 https://github.com/Niko1221/Strata ~/strata-0134
cd ~/strata-0134
CMAKE_BUILD_PARALLEL_LEVEL=8 nice -n 19 ./setup.sh --backend hip \
  --family qwen --model IQ2_XS --context 32768 --vision no \
  --port 8081 --data-dir ~/Strata-data --yes
# 數據重用（模型/pack/MTP 共用，不重下 70GB）；編譯限 8 線程低優先，不卡遊戲
# 跑完直接在 8081（venv 11GB＋編譯約 10 分＋啟動）

# ---- 2. 推到 262144：改 strata-iq2_xs.json 內 --max-context，殺掉重起（30 秒） ----
pkill -f 'serve.server'; pkill -f 'engine/strata'  # 兩個都要！缺一留殭屍佔 VRAM
# （改 json）後：
cd ~/strata-0134 && .venv/bin/python -m serve.server \
  --engine strata --config strata-iq2_xs.json --port 8081 &

# ---- 3. 健康檢查＋冒煙 ----
curl http://127.0.0.1:8081/health
# {"status":"ok","max_context":262144,...,"loaded":true}
curl http://127.0.0.1:8081/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"max_tokens":64,"messages":[{"content":"What is 12 times 12? Reply with just the number.","role":"user"}],"model":"qwen3.8-flash-next-iq2_xs","reasoning_effort":"off","temperature":0}'
# CONTENT: '144'

# ---- 4. 日常開關（遊戲機：用完就關，不要常駐） ----
# 啟動：同上；停止：兩個 pkill（見上）；切換版本：換目錄重起，30 秒
# 開機自啟：不設（遊戲機，明確不要）

注意：

首次啟動 RAM 會吃到 40GB＋，整台卡 1~3 分鐘正常，不要關。
換引擎/版本前先確認 VRAM 真乾淨（hipMemGetInfo 為準，rocm-smi 會漏看殭屍佔用——血淚見 §6）。
跟 gufo 搶 8080 port——本機現在一律用 8081，8080 留空避免打架。

4. 速度實測

條件：冷 KV（每檔獨立新對話，cached=0）、思考關、temp 0；除標註外皆 c262K。
版本標籤：M＝主線 0.1.30、F＝fork、V＝v0.1.34（現役）。
短答案 tok/s 是思考長度的函數（4-tok 版 26~30 vs 含思考 50 版 47~56）——報短答案必須附 token 數。

4.1 Decode 四種情境速度與接受度（三版本同場，c262K，思考關，temp 0）

情境	舊v0.1.30	舊魔改fork	v0.1.34（現役）
短答案（4 tok）	26.0（3/3）	30.7（3/3）	36.4（3/3）
散文（~220 tok）	28.5（54%）	37.8（65%）	44.7（108/173，62%）
代碼（~180 tok）	39.4（94%）	44.1（91%）	56.9（170/181，94%）
JSON（~47 tok）	35.3（85%）	42.5（85%）	48.8（12/12，100%）

解讀：代碼 > JSON > 散文 ≈ 短答案（draft 猜 token 分布，語法鋼板最好猜）。v0.1.34 全線贏之前版本一大截（代碼 +29%），這次優化應該是提升帶寬而不是提高mtp接受度。

4.2 prefill 全掃：三版本（冷 KV）

prompt	舊v0.1.30 prefill	舊魔改fork prefill	v0.1.34 prefill	v0.1.34 decode
2K	488	735	813	45.3
4K	759	1123	1168	50.9
8K	823	1110	1307	60.7
16K	889	1165	1319	62.7
32K	936	992	1297	65.6
64K	906	888	996	59.6
128K	874	929	1074	45.0
250K	731	753	868	38.7

解讀：v0.1.34 短中段再往上頂一格（16K 1319 全場最高；官方說「同速」是保守了），64K 以上三版一起撞牆（RAM/VRAM 物理定律）；sweep 的 decode 是小結論口徑（36~66），跟 4.3 長文口徑別混比。

4.3 prefill 同樣卡在 16GB（跟 decode 同一個天花板）

MoE prefill 每層碰全部被點到的專家，三成在 VRAM，剩下 RAM 現抓＋CPU 分擔。
鐵證（官方 RDNA4 表）：R9700（32GB）prefill 快 20~25%。多出來的 VRAM 直接變速度。
16~64K 封頂上不去；250K 跌是 RAM 見底＋attention 平方項＋cache 抖動三殺。
跟 gufo 不可比：它 252 是 27B dense 全放 VRAM 的 compute-bound；這邊是 fetch-bound。兩個屋頂。
結論：prefill 每 prompt 攤一次、decode 每 token 付一次，稅務局都是那 16GB。

4.4 正確性抽查

12×12＝144 ✓（v0.1.34 複驗通過；附推理過程）
英文短篇故事連貫，有敘事弧（思考模型：不設 reasoning_effort 會把 token 全花在思考上——設 low/off 即正常）。
23K prompt 灌入：prefill 946 tok/s，窗口真實可用。

4.5 上下文上限

GGUF 元數據：48 層 ×（2 KV頭×512維＋4 indexer頭×128）× int8 ≈ 72KB/token。
模型原生 262144（免 rope 硬扩；384K/512K 才要 yarn，官方 experimental）。
262144 已開機驗證可用（載入 30 秒，RAM 37GB，144 ✓）。滿 262K 對話約 57/62GB；128K 是甜蜜點，262K 是天花板。

5. 結論

結論：.67（RX 9070＋62GB RAM）跑 125B MoE，現役 v0.1.34：散文 45、代碼 57、prefill 最高 1319、c262K流暢運行
VRAM 只進三成專家（7610/24576），每 token 480 次專家求值近七成不在卡上。
miss 的專家兩條路——PCIe 抓回 GPU 算（看頻寬，本機實測 H2D 26.6GB/s），
或 CPU 直接算（看 CPU；本機無 AVX-512，engine 日誌確認走 AVX2 路徑）。
pcie-frac 就是調這兩路比例的旋鈕。

decode（每 token 付一次，最痛）：。

PCIe 來回延遲＋頻寬——小矩陣傳輸，延遲占比高。
CPU 少核爆發力——decode 的 expert GEMM 小，並行度有限。
對 CPU 計算來說，主導的是系統RAM帶寬不是延遲。**
本機 DDR5-6000 雙通道，理論 96GB/s，實際約 70~75。
CPU expert 是 streaming 負載（GEMV，幾乎無重用）：每 token 最多幾百 MB 權重
要從 RAM 過一遍，頻寬 ÷ 流量＝速度上限。70GB/s 就是那部分的硬天花板。

prefill（每 prompt 攤一次，重但可並行）：

CPU 總吞吐（核數×ISA）——Prefill全核火力全開，跟 decode 相反。Intel沒有AVX-512、如果換AMD Zen4以上更快。
PCIe 頻寬——傳輸派的分量，26.6GB/s 是死的；x8 的機器先打對折
RAM 總頻寬——CPU＋GPU 同時從 RAM 拿東西，DDR5 總頻寬是共用天花板（250K 時這裡最擠）。
同上：本機 70~75GB/s 實際頻寬是 CPU 那份的天花板

一句話：decode 看 CPU 單核爆發＋PCIe 延遲+系統RAM帶寬，prefill 看 CPU 總吞吐＋PCIe/RAM 頻寬；VRAM 決定幾成要走這條路（我們是七成），MTP 決定走幾次（接受率越高，同樣的專家重複利用率越高）。

這推論速度噴字最快到60tps我認為很夠使用了，畢竟電腦是去年搞來玩steam的當時行情約台幣四萬元。
我是很想看有沒有DDR3+RX6800 16G的實測，如果還算能接受或許是現在行情中性價比最高解了。

dardeaw feng

剛剛有再更新到v0.1.38版 decode沒明顯提升，prefill前段高一些，不更新數據了

imbiplaza ASUS

请问可否叫strata帮我在steam代玩，顺便自己写外挂，然后透明程式，自己去破关

dardeaw feng

@imbiplaza-ASUS 代玩就不好玩了吧，我也不知道怎麼做代玩，但我遊戲主機其實是遊戲server，利用sunshine遠端串流到電視開4K玩，會用agent幫我做steam設定、sunshine設定、網路ping調優、遊戲庫管理、更新軟件、驅動、mod啥的，總之有agent後比買ps5或是xbox還不傷腦袋了。

imbiplaza ASUS

@dardeaw-feng
我的是串流去网页，打开网页就能玩，就好像你串流agent 去webui, 串流comfyui去webui

dardeaw feng

@imbiplaza-ASUS 说:

@dardeaw-feng
我的是串流去网页，打开网页就能玩，就好像你串流agent 去webui, 串流comfyui去webui

請問是哪個服務或docker?我研究一下~
編解碼的支援好嗎?手把模擬跟震動有沒有呀

imbiplaza ASUS

@dardeaw-feng

你叫agent 帮你设置，提示词就说：
我现在的电脑有steam, 我想在区域网的另外一个手提电脑打开webui 来玩这个steam 的电脑游戏，我的手提电脑的hardware 不行，我想通过webui 来玩主机的游戏，我不要Sunshine，但是我想打开webui就能玩

dardeaw feng

此主題已被删除！

dardeaw feng

@imbiplaza-ASUS 说:

@dardeaw-feng

你叫agent 帮你设置，提示词就说：
我现在的电脑有steam, 我想在区域网的另外一个手提电脑打开webui 来玩这个steam 的电脑游戏，我的手提电脑的hardware 不行，我想通过webui 来玩主机的游戏，我不要Sunshine，但是我想打开webui就能玩

這跟sunshine比的好處是啥呀？

抡锤者