前天知道訊息時知道很吃內存，隨便測到24K就收手了，就先去測27B
這次把BIOS調好把系統掛載應用收一收認真測到長ctx，結果太逆天了....曲線沒掉
這如果開源下去，能用在7900XTX或R9700還得了

實測環境：AMD Strix Halo（Ryzen AI MAX+ 395，Radeon 8060S），2026-09。
目標讀者：同架構想抄作業的人。照貼可跑。
姊妹篇：AI Max+ 395 定製的docker Qwen 3.8 27b prefill翻倍了。

1. 案例系統

2. 特別項目與特殊量化模型介紹

2.1 flash 是什麼（跟舊 halogen 同門不同掛）

peonist-ai 寫的** Strix Halo 專用引擎第二代**，只認一顆 U、一個模型家族（Qwen3.8-Flash-Next，179B MoE）。跟舊 halogen（27B dense 專用）同作者、不同 binary（flash_serve，CLI 是 --ck，無 --serve）：

• 原生 262,144 ctx（HALOGEN_CTX 預設，要縮就縮，見 §3.3）
• 兩種 drafter：serial greedy＋MTP depth-1（wire 0/1），temperature 0 byte-identical 保證沿用
• n-gram 是第二個模型：51B 參數的 FP8 embedding 表（47.7 GiB），放 SSD、用 page cache 分頁讀，不常駐——prompt lookup draft 的來源，也是長文第一次慢的原因
• KV：多 slot 共用一個 pool（slots × ctx 預算制，HALOGEN_KV_POOL_FIT=1 預設會自己縮水並印出決定）
• OpenAI 相容：/v1/chat/completions、/v1/responses、streaming、tool calling；原生支援關思考（HALOGEN_ENABLE_THINKING=0，不用 proxy 灌 flag）
• 有 vision（0.6 起收 image content part；舊 halogen 沒有。這代 API＋engine 必須同 tag 跑，見官方 issue #26 教訓）
• token 預算含思考（沿用：max_tokens 用完直接空回覆＋finish=length，先看 finish_reason 再罵模型）

2.2 特殊量化：5.53 bpw（官方算法，不是格式名）

179.55B 全參數量下來 5.53 bits/weight（扣掉 n-gram 表，主幹＋專家 4.55）。演算法細節見官方 docs/QUANT.md，可用算術驗算不是喊口號。

2.3 跟 llama.cpp 體系的根本差異（沿用舊表，加兩列）

	Halogen Flash Server	舊 halogen 27B	llama.cpp 系
常駐體重	68G 權重＋14.4G KV＋12.5G working	35.9G	13–20G（Q4）
關思考	server 原生 env	需靠 proxy 注入／per-request flag	per-request flag
多模型	（一顆專用）
管理面	env 全配置＋自適應（啟動印預算行）	env	preset ini＋systemd

3. 配置流程

3.1 抓 engine＋權重（共 ~118G）

# 容器內自動抓（rw mount，斷點可續傳；115G checkpoint 永不重抓，只補 2.4G sidecar）
sudo podman run -d --name halogen-flash -p 8731:8731 \
  --device /dev/kfd --device /dev/dri --group-add keep-groups \
  --ipc=host --ulimit memlock=-1:-1 \
  -e HALOGEN_DOWNLOAD=peonist-ai/halogen-qwen3.8-flash-next \
  -v <MODEL_DIR>/halogen-models:/models \
  ghcr.io/peonist-ai/halogen-flash-server:0.6.1

# 或手動先下好再 :ro 跑（踏實派）：
# hf download peonist-ai/halogen-qwen3.8-flash-next --local-dir <MODEL_DIR>/halogen-models

3.2 啟動（正式參數，思考關＋全量 ctx）

sudo podman run -d --name halogen-flash -p 8731:8731 \
  --device /dev/kfd --device /dev/dri --group-add keep-groups \
  --ipc=host --ulimit memlock=-1:-1 \
  -e HALOGEN_ENABLE_THINKING=0 \
  -e HALOGEN_REASONING_EFFORT=low \
  -e HALOGEN_MAX_TOK=16384 \
  -v <MODEL_DIR>/halogen-models:/models:ro \
  ghcr.io/peonist-ai/halogen-flash-server:0.6.1

systemd（halogen-flash.service，enable；就是上面包一層＋Restart=always）。健康檢查：curl 127.0.0.1:8731/health（status ok＋server_defaults 可驗思考預設；冷載入讀 ~68G，幾分鐘，開著 log 看進度）。

3.3 RAM 預算（系統內存必須設到124G ，整份文件的關鍵）

冷載入自報（ MEM 單位 GiB）：

Gate（硬門檻，不過直接 2 秒退出）：

血淚對照（同一台，不同 carve）：

結論：carve 往小調，device 走 GTT 不怕 carve 小（128K 實驗證明小 carve 下 engine 照起）；host 可見才是門票。free 會把 68G pin 權重誤算成可回收 cache 而虛報，信 engine 啟動印的那行，不要信 free。

3.4 Deepseek Harness 接入

dsh（~/.dsh/settings.yaml，llm-pi-ai 下，改完下個請求生效免重啟）：

llm-pi-ai:
  halogen:
    displayName: Halogen Flash-Next
    api: openai-completions
    baseURL: http://127.0.0.1:8731/v1
    apiKeyEnv: HALOGEN_API_KEY
    models:
      - id: halogen-qwen3.8-flash-next
        name: Halogen Flash-Next
        contextWindow: 262144

憑據走 ~/.dsh/.credentials.yaml 的 refs（隨便填，server 不驗；但引用一定要存在，不然 MISSING_CREDENTIAL）。dsh 的设置→模型頁不顯示手寫路由，直接去對話的模型選單找，或用「添加自定义提供方」再加一條（一樣指 :8731，思考照樣關）。

3.5 地雷（全踩過）

1. 同機大戶應用服務全停（餘裕經常只有幾 G）。
2. podman stop -a 會連 flash 一起砍，點名停。
3. 碎片：大進程剛走時連續 2MiB 塊剩 1400 個，啟前 echo 1 > /proc/sys/vm/compact_memory。
4. 深 prompt 第一次慢是 n-gram 分頁（SSD 速度），不是 hang；真 hang 看 engine watchdog（180 秒無進度自殺，調 HALOGEN_ENGINE_WATCHDOG_S）。
5. HALOGEN_FLASH_PIN_TRUNK=0 是最後手段（decode 慢數倍），機器夠大永遠別碰。

4. 實測速度

條件：同機、temp 0.4（decode）／0.0（prefill）、思考關（server 預設，另有 enable_thinking: false 對齊舊標準）。

4.1 Decode（fib 31 tok in／250 tok out，同 prompt 三發，finish 皆 length）

4.2 Prefill（fill 文，wall 實測，finish 皆 stop）

52K→198K 全程 1320 上下，深度不掉速。

4.3 Cache（16K 同 prompt 兩發）

冷 10.7s → 暖 0.2s（×50）。

4.4 Agentic（自寫 ReAct harness t1–t8，工具全開）

8/8，迴圈 0、核彈 0；tps 2.4–30（工具重題偏低，純生成題 30.0；舊 halogen 17–28、fork 23–35）。

5. 測速比較表（同機實測總表）

項目	flash-next 179B（5.53bpw）	舊 halogen 27B（6.3bpw）	27B ROCmFP4＋DFlash2	27B GGUF Q4（HIP）
decode（fib）	50.2	50.1	46.0	24.0
prefill 16K	1219.5	614.1	431.6	—
prefill 100K＋	~1330	382（128K）	190（128K）	—
prefill 198K	1320.9	—（沒測）	—	—
暖輪	0.2s（×50）	9.9s（×5.7）	disk restore	同左
agentic	8/8（2.4–30 tps）	8/8（17–28）	8/8（23–35）	6/6
ctx 上限	262144	262144	131072	視模型
體重	118G（磁碟）／95G（常駐）	36G／53G	~15G	~17G
vision	（0.6＋）
多模型

6. 結論

1. 179B 跑出 27B 的 decode、兩倍多的 prefill，還一路平到 200K：6 倍參數、速度沒掉，Strix Halo 專用 kernel 的價值。opencode 日常（大 prompt＋短回答）正中下懷：10 萬字開局 82 秒，以前要 9 分鐘。
2. RAM 是唯一的門票：94.9GiB 常駐，host 可見 124G 才玩全量。BIOS carve 調小是正解；free 會虛報 68G，信 engine 的預算行。
3. agent 可用：8/8＋零違規；極限 tps 看題型，短句漂亮、長推理掉。
4. 代價清單：118G 磁碟、95G 常駐、單模型、整台機器資源被占用（§3.5）。
5. 未來前景看好，次世代模型的架構，如果配上次世代的推論引擎，若能在所有RDNA卡與多模型切換才是香。