硬體： X99底板 + 2張 AMD RX 7900 XTX 顯示卡 (每張24GB RAM) + ROCm 7.2.3
模型： Qwen3.6-27B Q4_K_M (~16GB，官方原版)
加速模型： dflash-draft-3.6-q8_0 (~1.8GB)
框架： DFlash (lucebox-hub)

乜嘢係 DFlash？

想像你打字好慢，但身邊有個助手（Draft 模型）可以幫你估你會打乜，你每次出 1 個字，佢就估下一句 10 個字。你只需睇一眼確認啱唔啱，啱就跳過 — 唔使逐個字打，咁就快好多。

呢個就係「speculative decode」嘅概念。

花咗好多時間發現嘅重點

DFlash 入面有啲叫「Phase 2」嘅加速 kernel，第一次 compile 嗰陣唔小心關咗，搞到慢咗成 1.7 倍。要手動開返先正常。

速度結果

普通模式（兩張卡分工）

• 測試模式: 普通模式（兩張卡分工）

• 記憶長度: 4K

• 速度: 18 tokens/s

• 對比普通模式: 1.00x（基準）

DFlash 加速（最佳設定）

• 測試模式: DFlash 加速（最佳設定）

• 記憶長度: 4K

• 速度: 52 tokens/s

• 對比普通模式: 2.88x

DFlash 加速

• 測試模式: DFlash 加速

• 記憶長度: 128K

• 速度: 50 tokens/s

• 對比普通模式: 2.79x

DFlash 加速

• 測試模式: DFlash 加速

• 記憶長度: 256K

• 速度: 50 tokens/s

• 對比普通模式: 2.77x

有幾快？ 普通模式每秒出 18 個字，開 DFlash 後每秒出 50 個字，快差唔多 3 倍。

256K 長度係幾多？ 大約等於半本《三體》嘅長度。就算模型要記咁多嘢，速度都幾乎冇跌（51 → 50 tokens/s），只慢 4%。

技術用語解碼

• Token = AI 模型嘅「字詞單位」，一個中文字大約 1-2 個 token
• tok/s (tokens per second) = 每秒生成幾多個字，越高越快
• Context / ctx = 模型記得幾多內容，256K ≈ 約 20 萬中文字
• GGUF = 模型檔案格式，類似 .mp4 但係俾 AI 用
• ROCm = AMD 版嘅 CUDA，俾顯示卡做 AI 計算
• q4_0 = 壓縮率，將 16GB 模型壓細嘅程度，q4_0 用 4-bit 儲存，慳位又快
• AR baseline (Autoregressive) = 普通逐個字生成模式，最慢但最穩
• Budget = DFlash 助手每次幫你估幾多個字，10 係最理想
• Draft-feature-mirror = 一個「對齊」功能，令助手嘅估算更加準確，快多 30%
• Dual-split = 兩張卡各做一半運算，分擔 workload

最佳指令（for 技術讀者）

./build/test_dflash <target.gguf> <draft.gguf> <prompt.bin> 512 <out.bin>
--ddtree --ddtree-budget=10 --fast-rollback
--target-gpu=0 --draft-gpu=1
-ctv q4_0 -ctk q4_0
--max-ctx=262144 --draft-feature-mirror