https://github.com/magiccodingman/vllm-radiance

模型

• 主模型：/models/amd/Qwen3.8-27B-Quark-AWQ-MXFP4（served name: qwen3.8-27b-mxfp4）
• Draft 模型：/models/tcclaviger/Qwen3.8-27B-DFlash2-FP8
• 量化：MXFP4（W4A8），RADIANCE_MXFP4=1 + 全套 radiance 優化旗標（WPERM、HOIST_QUANT、EPIFAST、SKINNY_GEMM、R4D attention 等）

引擎參數

• tensor-parallel-size: 1（單卡 R9700 / gfx1201）
• gpu-memory-utilization: 0.98
• kv-cache-dtype: fp8，--kv-cache-memory 7,783,339,733 bytes（~7.3GB 固定分配）
• max-num-seqs: 8
• max-model-len: 163,840
• max-num-batched-tokens: 8,192
• attention-backend: R4D（+ RADIANCE_USE_R4D_GDN / R4D_AR / R4D_AR_QUANT）
• speculative decoding: dflash，num_speculative_tokens=7，TRITON_ATTN，disable_padded_drafter_batch
• mamba-cache-mode: align
• prefix caching: 啟用
• no-async-scheduling
• tool call: qwen3_xml parser；reasoning parser: qwen3
• override generation config: temperature 0.7 / top_p 0.95 / top_k 20
• chat template: qwen-fixed-v22.3.jinja（掛載為 /chat-template.jinja）
• language-model-only、trust-remote-code、HF_HUB_OFFLINE

實際運行狀態（/metrics）

• KV cache：288 blocks，共 180,098 tokens 容量，fp8
• prefix cache 命中率：1.85M / 2.44M ≈ 75.9%
• dflash spec decode：48,588 draft tokens → 17,180 accepted，整體接受率約 35%；position 0 接受率 69%（4920/7108），逐位遞減到 position 6 約 15%
• 目前 0 running / 0 waiting，KV 使用率 0%
• AITER：只啟用 UNIFIED_ATTENTION，其餘（MHA/MOE/MLA/RMSNORM/FP4BMM/FP8BMM）全關

Prefill（長 context 預填）速度：

Prefill 穩定在 2,300-3,300 tok/s，128K context 約 45 秒完成預填。

併發測試（每路 max 256 tok）：

實際在DSH的使用，單路思考時是很穩定在40 t/s左右，編程時會到70~80 t/s
，比起llama.cpp + UD-Q4_K_XL 思考時25~40t/s，編程時50~75 t/s 效能好上不少。