X99, 雙R9700, Radiance + Qwen3.8 Flash-Next IQ4_R 速度測試報告
-
-
雙R9700 快封神了
-
@applejuice 的推薦
Radiance + Qwen3.8 Flash-Next IQ4_R 速度測試報告
- 測試時間：2026-10-24 19:40–19:56 (UTC+8)
- 受測模型：
qwen3.8-next-flash-fp8-iq4r-moe.rad（伺服器回報模型 ID：qwen4exp） - 推論引擎：Radiance 1.11.0（Docker 映像
stilldeadcode/radiance:1.11.0） - 服務位址：
http://127.0.0.1:8000（OpenAI 相容/v1/completions、/v1/chat/completions） - 測試方式：串流請求，客戶端記錄首字節時間與 token 數
本報告只列這一個模型的量測結果，不含任何其他模型或引擎的對比，也不含調校建議。
1. 受測設定
項目 值 模型檔 qwen3.8-next-flash-fp8-iq4r-moe.rad（113.6 GiB，SHA2560af5e962…4d20）架構 / 量化 qwen4exp，MoE，FP8 + IQ4_R層數 48 最大上下文 200,000 tokens（ --max-model-len 200000）並行槽 8（ --max-num-seqs 8，queue_cap: 64）張量並行 TP=2（ --tp 2 --tp-wire wht6）專家放置 expert_tiered，host pool 12,288 MiBKV cache fp8，prefix cache 4,096 MiB 投機解碼 MTP，深度 3（ --num-speculative-tokens 3）批次上限 2,048 tokens 取樣參數 temperature 1.0、top_k 20、top_p 0.95（伺服器預設） 硬體
項目 值 GPU 2 × AMD Radeon AI PRO R9700（gfx1201），各 34.2 GB VRAM 互連 兩卡可直接互讀記憶體（P2P 已啟用） CPU Intel Xeon E5-2686 v4，18 核 / 36 執行緒 記憶體 247 GiB 系統 Linux kernel 7.0.14-p2p，容器內執行 啟動時的 VRAM 預算（每卡，引擎自報）
項目 大小 卡總量 31.86 GiB 固定成本（驅動、activation arena、staging、佇列等） 約 1.63 GiB 可分配 30.22 GiB 靜態權重 3.58 GiB 彈性區 26.64 GiB（專家 17.74 GiB / KV cache 8.42 GiB） 權重合計 21.32 GiB 實測滿載時 VRAM 使用：GPU0 31.83 GiB、GPU1 31.69 GiB（總量 31.86 GiB）。
2. 測試方法
- 生成速度（decode）：固定提示、限制輸出長度 64 / 256 / 1024 tokens，各跑 2 次取後段穩定值；速度以「輸出 token 數 ÷ 首字之後的時間」計算，排除首字延遲。
- 首字延遲（TTFT）：從送出請求到收到第一個 token 的時間。
- 預填充（prefill）：以 9,527 與 37,894 tokens 的長提示各跑 2 次，速度 = 提示 token 數 ÷ TTFT。
- 並行吞吐（concurrency）：1 / 2 / 4 / 8 條同時串流，每條輸出 256 tokens，量測整體吞吐、單流吞吐與最大 TTFT。
- 每次請求都帶不同 nonce，避免前綴快取命中（伺服器日誌確認
cache 0）。
3. 結果
3.1 生成速度與首字延遲
輸出上限 實測輸出 TTFT 生成速度 總時間 64 64 0.542 s 76.0 tok/s 1.37 s 64 64 1.012 s 151.6 tok/s 1.43 s 256 256 0.059 s 127.8 tok/s 2.05 s 256 256 0.061 s 158.4 tok/s 1.67 s 1024 398 0.055 s 153.5 tok/s 2.64 s 1024 398 0.086 s 156.2 tok/s 2.63 s 判讀：暖機後穩定值 約 155 tok/s，TTFT 0.055–0.086 s。前兩筆（76.0、151.6）是冷啟後第一、二次請求，權重與專家尚未進駐完成；1024 上限那兩筆在 398 tokens 遇到自然結束，不是截斷。
3.2 預填充速度
提示長度 TTFT 預填充速度 9,527 tokens 2.885 s 3,302 tok/s 9,526 tokens 3.096 s 3,077 tok/s 37,894 tokens 10.115 s 3,746 tok/s 37,894 tokens 9.855 s 3,845 tok/s 判讀：9.5k 約 3.1–3.3k tok/s，37.9k 提升到 3.7–3.8k tok/s（長提示攤提固定成本後較高）。37.9k tokens 的首字延遲約 10 秒。
3.3 並行吞吐（每流 256 tokens）
並行數 聚合吞吐 單流吞吐 最大 TTFT 實際耗時 1 124.0 tok/s 134.5 tok/s 0.168 s 2.07 s 2 267.3 tok/s 137.6 tok/s 0.061 s 1.92 s 4 439.8 tok/s 114.1 tok/s 0.076 s 2.33 s 8 658.9 tok/s 88.4 tok/s 0.146 s 3.11 s 判讀：聚合吞吐隨並行數近似線性成長 — 2 流為單流的 2.16 倍、4 流 3.55 倍、8 流 5.31 倍。單流吞吐在 4 流之後開始下降（114 → 88 tok/s），8 流時為單流值的 66%。TTFT 全程維持在 0.15 s 以下。
4. 數值總覽
指標 數值 單流生成（暖機後） 約 155 tok/s 單流 TTFT 0.055–0.086 s 預填充（9.5k） 3,077–3,302 tok/s 預填充（37.9k） 3,746–3,845 tok/s 並行 8 流聚合 658.9 tok/s 並行 8 流單流 88.4 tok/s 佇列容量 64
5. 測試環境備註
- 測試期間 GPU 滿載：VRAM 使用率 99% 以上，主機記憶體可用 148 GiB。
- 引擎啟動回報
--tp-wire wht6為有損（lossy）all-reduce：128 KiB 以上的跨卡訊息以量化格式傳遞，因此 prefill 與繁忙解碼步驟不是精確 bf16 計算；25 列以內的步驟（單序列解碼）為精確。 - 引擎啟動回報 PCIe 連結協商為 8.0 GT/s x16（卡本身可達 32.0 GT/s x16），兩卡皆同。
- 引擎啟動回報 CPU governor 為
powersave。 - 以上三項僅為引擎自報的環境狀態記錄，不構成建議。
6. 原始數據
逐筆量測值存於同目錄
results.json；測試腳本為bench.py（僅用 Python 標準庫，模式gen/pp/conc）。 -
-
@XXX 这配置能不能跑个 strata-DSV4.1 试试什么结果
-
-
-
-
-
-
-
，
T terry 固定了此主题
