Radiance + Qwen3.8 Flash-Next IQ4_R 速度測試報告

• 測試時間：2026-10-24 19:40–19:56 (UTC+8)
• 受測模型：qwen3.8-next-flash-fp8-iq4r-moe.rad（伺服器回報模型 ID：qwen4exp）
• 推論引擎：Radiance 1.11.0（Docker 映像 stilldeadcode/radiance:1.11.0）
• 服務位址：http://127.0.0.1:8000（OpenAI 相容 /v1/completions、/v1/chat/completions）
• 測試方式：串流請求，客戶端記錄首字節時間與 token 數

本報告只列這一個模型的量測結果，不含任何其他模型或引擎的對比，也不含調校建議。

1. 受測設定

硬體

啟動時的 VRAM 預算（每卡，引擎自報）

實測滿載時 VRAM 使用：GPU0 31.83 GiB、GPU1 31.69 GiB（總量 31.86 GiB）。

2. 測試方法

1. 生成速度（decode）：固定提示、限制輸出長度 64 / 256 / 1024 tokens，各跑 2 次取後段穩定值；速度以「輸出 token 數 ÷ 首字之後的時間」計算，排除首字延遲。
2. 首字延遲（TTFT）：從送出請求到收到第一個 token 的時間。
3. 預填充（prefill）：以 9,527 與 37,894 tokens 的長提示各跑 2 次，速度 = 提示 token 數 ÷ TTFT。
4. 並行吞吐（concurrency）：1 / 2 / 4 / 8 條同時串流，每條輸出 256 tokens，量測整體吞吐、單流吞吐與最大 TTFT。
5. 每次請求都帶不同 nonce，避免前綴快取命中（伺服器日誌確認 cache 0）。

3. 結果

3.1 生成速度與首字延遲

判讀：暖機後穩定值 約 155 tok/s，TTFT 0.055–0.086 s。前兩筆（76.0、151.6）是冷啟後第一、二次請求，權重與專家尚未進駐完成；1024 上限那兩筆在 398 tokens 遇到自然結束，不是截斷。

3.2 預填充速度

判讀：9.5k 約 3.1–3.3k tok/s，37.9k 提升到 3.7–3.8k tok/s（長提示攤提固定成本後較高）。37.9k tokens 的首字延遲約 10 秒。

3.3 並行吞吐（每流 256 tokens）

判讀：聚合吞吐隨並行數近似線性成長 — 2 流為單流的 2.16 倍、4 流 3.55 倍、8 流 5.31 倍。單流吞吐在 4 流之後開始下降（114 → 88 tok/s），8 流時為單流值的 66%。TTFT 全程維持在 0.15 s 以下。

4. 數值總覽

5. 測試環境備註

• 測試期間 GPU 滿載：VRAM 使用率 99% 以上，主機記憶體可用 148 GiB。
• 引擎啟動回報 --tp-wire wht6 為有損（lossy）all-reduce：128 KiB 以上的跨卡訊息以量化格式傳遞，因此 prefill 與繁忙解碼步驟不是精確 bf16 計算；25 列以內的步驟（單序列解碼）為精確。
• 引擎啟動回報 PCIe 連結協商為 8.0 GT/s x16（卡本身可達 32.0 GT/s x16），兩卡皆同。
• 引擎啟動回報 CPU governor 為 powersave。
• 以上三項僅為引擎自報的環境狀態記錄，不構成建議。

6. 原始數據

逐筆量測值存於同目錄 results.json；測試腳本為 bench.py（僅用 Python 標準庫，模式 gen / pp / conc）。