昨天看到有人貼特製Qwen 3.8 flash的分享，我去同一個作者的github找27b板來實測分享
這模型約是Q6的精度 有這樣的效率真的很驚人，RDNA還有很大的開發空間

實測環境：AMD Strix Halo（Ryzen AI MAX+ 395，Radeon 8060S），2026-09。

1. 案例軟硬體系統

2. 特別項目與特殊量化模型介紹

2.1 Halogen 是什麼（跟 llama.cpp 完全不同路）

peonist-ai 寫的專用 HIP 推論引擎（非 llama.cpp fork，從零寫給 gfx1151＋Qwen3.8-27B），只認一顆 U、一個模型家族：

• 原生 262,144 ctx，Gated DeltaNet 帶 O(1) state（48／64 層根本沒有 KV cache），深度不掉速的本錢
• 三種 drafter 可選：dflash2（預設）、mtp、serial，可 per-request 切；輸出與 serial greedy byte-identical（每版都驗，不是宣稱）
• Prompt cache：暖輪號稱 20× TTFT，跟冷啟動 bitwise identical；要 36.9 GB 空位才會自動開（見 §4.4 坑）
• Batched decode：8 並發 4.87×，但跟推測互斥（开了 batch 就沒 speculation，單用戶別開）
• OpenAI 相容 API：/v1/chat/completions、streaming、tool calling（qwen-xml 線路格式，server 端自轉，client 照 OpenAI 格式送就行）、reasoning-effort 控制
• 沒 vision：模型有 vision encoder，引擎不用。多模態需求請繞道。

2.2 特殊量化：p1w4d-d2（~6.3 bpw）

不是 GGUF，是 .hgn 自有格式。策略跟傳統 K-quant 反著來：

• Full W4A4 promotion（prefill＋9%，top-1 只掉 0.45pt，深文反而更好）
• 真 4-bit 的 tensor 只有別人校準過的；激進手法圍在 prefill（不碰 token 生成）
• 對照：ROCmFP4-Q4（~4.5bpw）、UD-Q4_K_M（~4.8bpw）——halogen 用多 ~40% 位元換品質＋速度

2.3 跟 llama.cpp 體系的根本差異

3. 配置流程

3.1 抓 engine＋權重（共 ~39.5G）

# engine（3.5G，無權重）
sudo podman pull ghcr.io/peonist-ai/halogen:0.1.3

# 權重（35.9G checkpoint＋flat tokenizer，裝一次）
pip install -U "huggingface_hub[cli]"
hf download peonist-ai/halogen-qwen3.8-27b --local-dir <MODEL_DIR>/halogen-models
# 得到：qwen3.8-27b-p1w4d-d2.hgn ＋ tokenizer/（chat_template.jinja 等）

也可以容器內自動抓（-e HALOGEN_DOWNLOAD=peonist-ai/halogen-qwen3.8-27b＋rw mount），但 35.9G 第一次等很久，手動先下好比較踏實。

3.2 啟動（VRAM 算好再開，見 §3.3）

sudo podman run -d --name halogen -p 8731:8731 \
  --device /dev/kfd --device /dev/dri --group-add keep-groups \
  --security-opt seccomp=unconfined --ipc=host \
  -v <MODEL_DIR>/halogen-models:/models:ro \
  -v <MODEL_DIR>/halogen-models/tokenizer:/tokenizer:ro \
  ghcr.io/peonist-ai/halogen:0.1.3

健康檢查：curl 127.0.0.1:8731/health（回 status ok＋prompt_cache 狀態；初次載入約半分鐘，mmap 快）。

3.3 VRAM 預算（128G 機器實測表）

本案例：HALOGEN_CACHE_MB=16384＋SLOT_CTX=262144，總佔 ~53G，剩下的留給系統＋其他服務。

3.4 opencode 接入

"halogen": {
  "npm": "@ai-sdk/openai-compatible",
  "options": { "baseURL": "http://<HOST>:8731/v1", "apiKey": "halogen" },
  "models": {
    "halogen-qwen3.8-27b": {
      "options": { "temperature": 0.4 },
      "limit": { "context": 262144, "output": 8192 }
    }
  }
}

output limit 至少 2000（血淚：max_tokens 含思考，設 250 就空回覆＋finish=length，先看 finish_reason 再罵模型）。

3.5 地雷（全踩過）

1. 超 slot 的 prompt 直接 502，再大直接炸行程（ robustness 扣分；opencode 的 compaction 上限要對齊 slot/def，別送超量）。
2. prompt cache 要 36.9G 空位，小機器用 HALOGEN_CACHE_MB 手動開（只保小包）。
3. tool calling 線路是 qwen-xml（server 自轉，client 照送 OpenAI 格式就行，實測會通）。
4. temperature: 0 照樣走推測快路徑（byte-identical）；>0 也保分佈（accept min(1,p/q)＋residual 修正）。

4. 實測速度

前幾天有發一篇ROCmFP4版的llama.cpp分支實測，該版已經打爆GGUF了，現在更是遙遙領先，拿來做對造

條件：同機、temp 0.4（decode）／0.0（prefill）、enable_thinking: false（對齊 fork 側關想像條件；開著會多 2700＋字思考，速度另計）。

4.1 吐字速度 Decode（json內容 fib 53 tok in／250 tok out，同 prompt 三發）

Q6能贏FP4的解碼速度，非常驚人，應該是超高的mtp效率

4.2 Prefill 七階（同填充文，wall 實測）

越長贏越多（跟官方說法一致，這次是獨立重測不是引用）。

4.3 Prompt cache（16G 手動檔，32K 同 prompt 兩發）

warm 跟 cold bitwise identical（官方保證，開關可驗）。

4.4 Agentic（自寫 ReAct harness t1–t8，工具全開）

5. 測速比較表（同機實測總表）

項目	halogen 6.3bpw	llama.cpp 分支 ROCmFP4＋DFlash2	llama.cpp 分支 ROCmFP4＋MTP	lama.cpp GGUF Q4（HIP）
decode（fib）	50.1	46.0	45.3	24.0
prefill 2K	586.9	315.6	250.5	—
prefill 16K（峰值區）	614.1	431.6	424.9	—
prefill 32K	570.4	415.8	400.7	242
prefill 64K	501.9	308.8	277.1	123
prefill 128K	382.2	189.6	150.9	—
暖輪 32K	9.9s（×5.7）	wrapper disk restore（秒級讀檔）	同左	同左
agentic tps	17–28	23–35	23–35	~40（Q8 Ornith 參考值）
agentic 品質	8/8	8/8	8/8	6/6（舊 6 題版）
接受率	DFlash2 內建（未外顯）	0.98	0.95–0.97	—
VRAM（權重）	35.9G	13.75＋1.1G	13.75＋1.6G	17G（Q4_K_M）
vision		（mmproj）
多模型	（一顆專用）	（router）

6. 結論

這畢竟是個人開發的閉源項目，求AMD買下檢討ROCm的效率可以嗎? 這麼多人買你家的RDNA卡但算力發揮不出來

1. prefill 是 halogen 的主場：全階贏，128K 差一倍；10 萬字開局從 9 分鐘變 4 分半，opencode 日常（大 prompt＋短回答）正中下懷。
2. decode 小贏（50 vs 46），agentic 流量反而輸一點（工具 JSON 不好猜＋關想像後思考零加成；要極限 agentic tps 還是 fork+MTP）。
3. 精度是隱藏紅利：6.3bpw 對 Q4，考卷同分是因為題目不夠毒；長文連貫的主觀體感要自己試。
4. 代價清單：36G 體重、單模型、無 vision。
5. 擺放建議：prefill 苦工（開局、長文整理）丟 halogen；要 vision／多模型／KV 續命走 fork；要現成生態走 stock。 Fish 與熊掌的分配見 §3.3 的 VRAM 表。