# Qwen3.8 Flash Next Q3_S 7900XTX + 128G DDR4 測速與優化
-
Qwen3.8 Flash Next 本機測速與優化報告
日期：2026-10-21
主機：GIGABYTE MU72-SU0-00、Intel Xeon 第三代 Ice Lake-SP 38C/76T、128GB ECC REG DDR4
推論 GPU：AMD Radeon RX 7900 XTX 24GB（gfx1100）摘要
本報告整理這台主機從 Q4 換成社群 RVN IQ3_S 版本後的速度紀錄，以及 Strata
pcie-frac單變因 A/B 和後續長上下文、Hermes 工具呼叫測試。- Q4 約 87.27 GiB；RVN IQ3_S 約 82.78 GiB，檔案小約 5.2%。
- 約 12 萬輸入 token 的歷史測試中，Q4_XS decode 為 51.15 tok/s，IQ3_S 為 65.05 tok/s 中位數。 - 短 prompt 的
pcie-fracA/B 中，0.55 平均 decode 60.30 tok/s，0.0 平均 65.27 tok/s，提升約 8.2%。 - 31,836-token prefill A/B 平均分別為 1,736.8 與 1,738.4 tok/s，基本持平。
- 最終設定在 124,634 與 249,288 輸入 token 的六點回憶測試都找回 6/6 個值。249K 是單次測試，並非完整 262K 壓力或長時間穩定性測試。
- Hermes 本機工具驗證共 6 輪、14 次工具呼叫，零工具錯誤；沒有測 Telegram E2E。
設備與軟體
項目 實際配置 主機板 GIGABYTE MU72-SU0-00 CPU Intel Xeon 第三代 Ice Lake-SP，38 核心 / 76 執行緒 記憶體 128GB ECC REG DDR4（Linux 約可見 125 GiB） 推論 GPU AMD Radeon RX 7900 XTX，24GB VRAM，gfx1100 顯示用途 GPU RTX 3060；Strata 推論未使用 作業系統 Linux 推論服務 Strata 0.1.40，ROCm 10.0 Docker GPU backend hipBLASLt 100401、MMQ + WMMA、gfx1100 tuning table 48 最終模型設定 單 slot、context 262,144、int8 KV、MTP spec 4、 pcie-frac=0.0Q4 換成 IQ3_S 的比較
模型差異
- 原 Q4：Unsloth UD-IQ4_XS，約 87.27 GiB。
- 後換模型：RVN 社群 abliterated/uncensored Qwen3.8 Flash Next IQ3_S Strata pack，約 82.78 GiB。
- IQ3_S 檔案比 Q4 小約 5.2%。
這不是只改量化位元的嚴格 A/B：兩者來自不同模型來源／微調版本。因此，速度差異不能全歸因於量化格式。
約 12 萬輸入 token 的歷史測試
兩組紀錄採用約 119,973 輸入 token、128 輸出 token、temperature 0、cache 0，以及 Strata ROCm 10.0 / hipBLASLt 100401 / MMQ+WMMA / tuning table 48 /
--spec 4。各模型有兩筆紀錄：模型 Prefill 中位數 Decode 中位數 總耗時中位數 Q4 Unsloth UD-IQ4_XS 1,590.3 tok/s 51.15 tok/s 78.448 秒 IQ3_S RVN community pack 1,618.7 tok/s 65.05 tok/s 76.590 秒 按這組紀錄，IQ3_S prefill 約快 1.79%，decode 約快 27.17%；總耗時少 1.858 秒，約減少 2.37%。IQ3_S 僅兩筆紀錄，且模型來源不同，結果應視為本機觀測，不宜解讀成量化格式的普遍速度保證。
優化測試：
pcie-frac0.55 對 0.0測試時只變更
pcie-frac。兩組使用相同 direct API、41-token prompt、每次輸出 100 tokens、temperature 0、reasoning_effort=none、cache_n=0；每組先暖機，再記錄三次。短 prompt decode
pcie-frac三次 decode 平均 中位數 0.55 54.9 / 64.4 / 61.6 tok/s 60.30 tok/s 61.6 tok/s 0.0 61.0 / 67.2 / 67.6 tok/s 65.27 tok/s 67.2 tok/s 0.0 組的平均 decode 約提升 8.2%。平均 TTFT 從 0.543 秒降到 0.434 秒；HTTP wall 平均從 2.190 秒降到 1.950 秒。MTP draft acceptance 相近：0.55 為 113/212（53.3%），0.0 為 115/215（53.5%）。
31,836-token prefill
兩組使用同一份由
random.Random(32521)和固定字表產生的 22,400-word synthetic corpus；每次實際輸入 31,836 tokens，輸出 2 tokens，cache 0，各跑三次。pcie-frac三次 prefill 平均 0.55 1,740.8 / 1,734.6 / 1,735.1 tok/s 1,736.8 tok/s 0.0 1,738.8 / 1,740.3 / 1,736.1 tok/s 1,738.4 tok/s 平均差約 0.09%，視為沒有實質變化。這輪 A/B 顯示短 prompt decode 有提升，但沒有測出 32K prefill 的實質提升；不應把 8.2% 套用到所有上下文長度或工作負載。
最終設定下的長上下文回憶測試
測試在 8%、23%、39%、55%、71%、89% 深度埋入六組 key/value，要求模型輸出 JSON map；temperature 0、cache 0，每次輸出 101 tokens。
實際輸入 tokens 找回值 Prefill Decode TTFT HTTP wall 124,634 6/6 1,571.5 tok/s 63.5 tok/s 79.94 秒 81.51 秒 249,288 6/6 1,389.0 tok/s 72.9 tok/s 180.78 秒 182.14 秒 最低可用 RAM 約 41 GiB，沒有觀察到明顯 swap 消耗。249,288-token 測試只有一次，接近但未達設定上限 262,144；這不是完整上限測試，也不是長時間 soak 或多使用者併發測試。
Hermes 工具呼叫測試
在最終
pcie-frac=0.0設定下，用 Hermes profileyespc-bot/strata-iq3s做了唯讀工具驗證：- 5 輪 file-only 任務，共 11 次呼叫：
search_files3 次、read_file8 次。 - 另 1 輪受限 terminal 驗證：
read_file、一次限定目錄的sha256sum+wc -l、再read_file核對報告。 - 合計 6 輪、14 次工具呼叫，記錄中零工具錯誤；hash、行數與 fixture report 相符，沒有寫入測試目錄以外的檔案。
這驗證了本機 Hermes 的檔案搜尋、讀檔、受限 terminal 呼叫與多輪工具結果核對；沒有測 Telegram 實際訊息 E2E，也沒有在此設定下測寫入工具。
社群同卡參考
這些是 RX 7900 XTX 上的公開 IQ3_S 報告。CPU、記憶體、OS、Strata 版本、模型設定、prompt 長度和測試方法不同，只供參考，不是同條件排名：
- Strata issue #2274：RX 7900 XTX、IQ3_S；短 decode 約 67 tok/s，另有 4K、16K、32K prefill 紀錄。該機使用 i7-12700K、128GB DDR4、Windows 與 Strata 0.1.43.1。
- Strata issue #2938：RX 7900 XTX、IQ3_S、Linux；約 98K prompt 的三次測試，prefill 中位數約 1,809.5 tok/s、decode 約 77.4 tok/s。該機為 Ryzen 9950X、96GB DDR5、Strata 0.1.45，參數也不同。
- Strata PR #1173：RX 7900 XTX、IQ3_S 報告約 1,612 prompt tok/s、78–80 decode tok/s；主機為 Ryzen 7950X3D、192GB DDR5。
- Strata 社群 benchmark 方法。
結論與限制
在這台 RX 7900 XTX 主機上，記錄到 IQ3_S 約 12 萬 token 測試 decode 中位數 65.05 tok/s。短 prompt A/B 將
pcie-frac從 0.55 設為 0.0 後，平均 decode 從 60.30 提升至 65.27 tok/s；31,836-token prefill 持平。最終設定也完成 124.6K 與 249.3K 的六點回憶測試，以及 Hermes 的唯讀檔案／terminal 工具測試。數據適用範圍是這台主機、目前 Strata 版本和 RVN IQ3_S pack。Q4 / IQ3_S 模型來源不同；長上下文各為單次樣本；尚未驗證精確 262,144-token 輸入、長時間 soak、多使用者併發、Telegram E2E、圖片輸入或 thinking-on 工作負載。
- Q4 約 87.27 GiB；RVN IQ3_S 約 82.78 GiB，檔案小約 5.2%。
-
Qwen3.8 Flash Next 本機測速與優化報告
日期：2026-10-21
主機：GIGABYTE MU72-SU0-00、Intel Xeon 第三代 Ice Lake-SP 38C/76T、128GB ECC REG DDR4
推論 GPU：AMD Radeon RX 7900 XTX 24GB（gfx1100）摘要
本報告整理這台主機從 Q4 換成社群 RVN IQ3_S 版本後的速度紀錄，以及 Strata
pcie-frac單變因 A/B 和後續長上下文、Hermes 工具呼叫測試。- Q4 約 87.27 GiB；RVN IQ3_S 約 82.78 GiB，檔案小約 5.2%。
- 約 12 萬輸入 token 的歷史測試中，Q4_XS decode 為 51.15 tok/s，IQ3_S 為 65.05 tok/s 中位數。 - 短 prompt 的
pcie-fracA/B 中，0.55 平均 decode 60.30 tok/s，0.0 平均 65.27 tok/s，提升約 8.2%。 - 31,836-token prefill A/B 平均分別為 1,736.8 與 1,738.4 tok/s，基本持平。
- 最終設定在 124,634 與 249,288 輸入 token 的六點回憶測試都找回 6/6 個值。249K 是單次測試，並非完整 262K 壓力或長時間穩定性測試。
- Hermes 本機工具驗證共 6 輪、14 次工具呼叫，零工具錯誤；沒有測 Telegram E2E。
設備與軟體
項目 實際配置 主機板 GIGABYTE MU72-SU0-00 CPU Intel Xeon 第三代 Ice Lake-SP，38 核心 / 76 執行緒 記憶體 128GB ECC REG DDR4（Linux 約可見 125 GiB） 推論 GPU AMD Radeon RX 7900 XTX，24GB VRAM，gfx1100 顯示用途 GPU RTX 3060；Strata 推論未使用 作業系統 Linux 推論服務 Strata 0.1.40，ROCm 10.0 Docker GPU backend hipBLASLt 100401、MMQ + WMMA、gfx1100 tuning table 48 最終模型設定 單 slot、context 262,144、int8 KV、MTP spec 4、 pcie-frac=0.0Q4 換成 IQ3_S 的比較
模型差異
- 原 Q4：Unsloth UD-IQ4_XS，約 87.27 GiB。
- 後換模型：RVN 社群 abliterated/uncensored Qwen3.8 Flash Next IQ3_S Strata pack，約 82.78 GiB。
- IQ3_S 檔案比 Q4 小約 5.2%。
這不是只改量化位元的嚴格 A/B：兩者來自不同模型來源／微調版本。因此，速度差異不能全歸因於量化格式。
約 12 萬輸入 token 的歷史測試
兩組紀錄採用約 119,973 輸入 token、128 輸出 token、temperature 0、cache 0，以及 Strata ROCm 10.0 / hipBLASLt 100401 / MMQ+WMMA / tuning table 48 /
--spec 4。各模型有兩筆紀錄：模型 Prefill 中位數 Decode 中位數 總耗時中位數 Q4 Unsloth UD-IQ4_XS 1,590.3 tok/s 51.15 tok/s 78.448 秒 IQ3_S RVN community pack 1,618.7 tok/s 65.05 tok/s 76.590 秒 按這組紀錄，IQ3_S prefill 約快 1.79%，decode 約快 27.17%；總耗時少 1.858 秒，約減少 2.37%。IQ3_S 僅兩筆紀錄，且模型來源不同，結果應視為本機觀測，不宜解讀成量化格式的普遍速度保證。
優化測試：
pcie-frac0.55 對 0.0測試時只變更
pcie-frac。兩組使用相同 direct API、41-token prompt、每次輸出 100 tokens、temperature 0、reasoning_effort=none、cache_n=0；每組先暖機，再記錄三次。短 prompt decode
pcie-frac三次 decode 平均 中位數 0.55 54.9 / 64.4 / 61.6 tok/s 60.30 tok/s 61.6 tok/s 0.0 61.0 / 67.2 / 67.6 tok/s 65.27 tok/s 67.2 tok/s 0.0 組的平均 decode 約提升 8.2%。平均 TTFT 從 0.543 秒降到 0.434 秒；HTTP wall 平均從 2.190 秒降到 1.950 秒。MTP draft acceptance 相近：0.55 為 113/212（53.3%），0.0 為 115/215（53.5%）。
31,836-token prefill
兩組使用同一份由
random.Random(32521)和固定字表產生的 22,400-word synthetic corpus；每次實際輸入 31,836 tokens，輸出 2 tokens，cache 0，各跑三次。pcie-frac三次 prefill 平均 0.55 1,740.8 / 1,734.6 / 1,735.1 tok/s 1,736.8 tok/s 0.0 1,738.8 / 1,740.3 / 1,736.1 tok/s 1,738.4 tok/s 平均差約 0.09%，視為沒有實質變化。這輪 A/B 顯示短 prompt decode 有提升，但沒有測出 32K prefill 的實質提升；不應把 8.2% 套用到所有上下文長度或工作負載。
最終設定下的長上下文回憶測試
測試在 8%、23%、39%、55%、71%、89% 深度埋入六組 key/value，要求模型輸出 JSON map；temperature 0、cache 0，每次輸出 101 tokens。
實際輸入 tokens 找回值 Prefill Decode TTFT HTTP wall 124,634 6/6 1,571.5 tok/s 63.5 tok/s 79.94 秒 81.51 秒 249,288 6/6 1,389.0 tok/s 72.9 tok/s 180.78 秒 182.14 秒 最低可用 RAM 約 41 GiB，沒有觀察到明顯 swap 消耗。249,288-token 測試只有一次，接近但未達設定上限 262,144；這不是完整上限測試，也不是長時間 soak 或多使用者併發測試。
Hermes 工具呼叫測試
在最終
pcie-frac=0.0設定下，用 Hermes profileyespc-bot/strata-iq3s做了唯讀工具驗證：- 5 輪 file-only 任務，共 11 次呼叫：
search_files3 次、read_file8 次。 - 另 1 輪受限 terminal 驗證：
read_file、一次限定目錄的sha256sum+wc -l、再read_file核對報告。 - 合計 6 輪、14 次工具呼叫，記錄中零工具錯誤；hash、行數與 fixture report 相符，沒有寫入測試目錄以外的檔案。
這驗證了本機 Hermes 的檔案搜尋、讀檔、受限 terminal 呼叫與多輪工具結果核對；沒有測 Telegram 實際訊息 E2E，也沒有在此設定下測寫入工具。
社群同卡參考
這些是 RX 7900 XTX 上的公開 IQ3_S 報告。CPU、記憶體、OS、Strata 版本、模型設定、prompt 長度和測試方法不同，只供參考，不是同條件排名：
- Strata issue #2274：RX 7900 XTX、IQ3_S；短 decode 約 67 tok/s，另有 4K、16K、32K prefill 紀錄。該機使用 i7-12700K、128GB DDR4、Windows 與 Strata 0.1.43.1。
- Strata issue #2938：RX 7900 XTX、IQ3_S、Linux；約 98K prompt 的三次測試，prefill 中位數約 1,809.5 tok/s、decode 約 77.4 tok/s。該機為 Ryzen 9950X、96GB DDR5、Strata 0.1.45，參數也不同。
- Strata PR #1173：RX 7900 XTX、IQ3_S 報告約 1,612 prompt tok/s、78–80 decode tok/s；主機為 Ryzen 7950X3D、192GB DDR5。
- Strata 社群 benchmark 方法。
結論與限制
在這台 RX 7900 XTX 主機上，記錄到 IQ3_S 約 12 萬 token 測試 decode 中位數 65.05 tok/s。短 prompt A/B 將
pcie-frac從 0.55 設為 0.0 後，平均 decode 從 60.30 提升至 65.27 tok/s；31,836-token prefill 持平。最終設定也完成 124.6K 與 249.3K 的六點回憶測試，以及 Hermes 的唯讀檔案／terminal 工具測試。數據適用範圍是這台主機、目前 Strata 版本和 RVN IQ3_S pack。Q4 / IQ3_S 模型來源不同；長上下文各為單次樣本；尚未驗證精確 262,144-token 輸入、長時間 soak、多使用者併發、Telegram E2E、圖片輸入或 thinking-on 工作負載。
- Q4 約 87.27 GiB；RVN IQ3_S 約 82.78 GiB，檔案小約 5.2%。
