日期：2026-10-21
主機：GIGABYTE MU72-SU0-00、Intel Xeon 第三代 Ice Lake-SP 38C/76T、128GB ECC REG DDR4
推論 GPU：AMD Radeon RX 7900 XTX 24GB（gfx1100）

摘要

本報告整理這台主機從 Q4 換成社群 RVN IQ3_S 版本後的速度紀錄，以及 Strata pcie-frac 單變因 A/B 和後續長上下文、Hermes 工具呼叫測試。

• Q4 約 87.27 GiB；RVN IQ3_S 約 82.78 GiB，檔案小約 5.2%。
  - 約 12 萬輸入 token 的歷史測試中，Q4_XS decode 為 51.15 tok/s，IQ3_S 為 65.05 tok/s 中位數。
• 短 prompt 的 pcie-frac A/B 中，0.55 平均 decode 60.30 tok/s，0.0 平均 65.27 tok/s，提升約 8.2%。
• 31,836-token prefill A/B 平均分別為 1,736.8 與 1,738.4 tok/s，基本持平。
• 最終設定在 124,634 與 249,288 輸入 token 的六點回憶測試都找回 6/6 個值。249K 是單次測試，並非完整 262K 壓力或長時間穩定性測試。
• Hermes 本機工具驗證共 6 輪、14 次工具呼叫，零工具錯誤；沒有測 Telegram E2E。

設備與軟體

Q4 換成 IQ3_S 的比較

模型差異

• 原 Q4：Unsloth UD-IQ4_XS，約 87.27 GiB。
• 後換模型：RVN 社群 abliterated/uncensored Qwen3.8 Flash Next IQ3_S Strata pack，約 82.78 GiB。
• IQ3_S 檔案比 Q4 小約 5.2%。

這不是只改量化位元的嚴格 A/B：兩者來自不同模型來源／微調版本。因此，速度差異不能全歸因於量化格式。

約 12 萬輸入 token 的歷史測試

兩組紀錄採用約 119,973 輸入 token、128 輸出 token、temperature 0、cache 0，以及 Strata ROCm 10.0 / hipBLASLt 100401 / MMQ+WMMA / tuning table 48 / --spec 4。各模型有兩筆紀錄：

按這組紀錄，IQ3_S prefill 約快 1.79%，decode 約快 27.17%；總耗時少 1.858 秒，約減少 2.37%。IQ3_S 僅兩筆紀錄，且模型來源不同，結果應視為本機觀測，不宜解讀成量化格式的普遍速度保證。

優化測試：pcie-frac 0.55 對 0.0

測試時只變更 pcie-frac。兩組使用相同 direct API、41-token prompt、每次輸出 100 tokens、temperature 0、reasoning_effort=none、cache_n=0；每組先暖機，再記錄三次。

短 prompt decode

0.0 組的平均 decode 約提升 8.2%。平均 TTFT 從 0.543 秒降到 0.434 秒；HTTP wall 平均從 2.190 秒降到 1.950 秒。MTP draft acceptance 相近：0.55 為 113/212（53.3%），0.0 為 115/215（53.5%）。

31,836-token prefill

兩組使用同一份由 random.Random(32521) 和固定字表產生的 22,400-word synthetic corpus；每次實際輸入 31,836 tokens，輸出 2 tokens，cache 0，各跑三次。

平均差約 0.09%，視為沒有實質變化。這輪 A/B 顯示短 prompt decode 有提升，但沒有測出 32K prefill 的實質提升；不應把 8.2% 套用到所有上下文長度或工作負載。

最終設定下的長上下文回憶測試

測試在 8%、23%、39%、55%、71%、89% 深度埋入六組 key/value，要求模型輸出 JSON map；temperature 0、cache 0，每次輸出 101 tokens。

最低可用 RAM 約 41 GiB，沒有觀察到明顯 swap 消耗。249,288-token 測試只有一次，接近但未達設定上限 262,144；這不是完整上限測試，也不是長時間 soak 或多使用者併發測試。

Hermes 工具呼叫測試

在最終 pcie-frac=0.0 設定下，用 Hermes profile yespc-bot / strata-iq3s 做了唯讀工具驗證：

• 5 輪 file-only 任務，共 11 次呼叫：search_files 3 次、read_file 8 次。
• 另 1 輪受限 terminal 驗證：read_file、一次限定目錄的 sha256sum + wc -l、再 read_file 核對報告。
• 合計 6 輪、14 次工具呼叫，記錄中零工具錯誤；hash、行數與 fixture report 相符，沒有寫入測試目錄以外的檔案。

這驗證了本機 Hermes 的檔案搜尋、讀檔、受限 terminal 呼叫與多輪工具結果核對；沒有測 Telegram 實際訊息 E2E，也沒有在此設定下測寫入工具。

社群同卡參考

這些是 RX 7900 XTX 上的公開 IQ3_S 報告。CPU、記憶體、OS、Strata 版本、模型設定、prompt 長度和測試方法不同，只供參考，不是同條件排名：

• Strata issue #2274：RX 7900 XTX、IQ3_S；短 decode 約 67 tok/s，另有 4K、16K、32K prefill 紀錄。該機使用 i7-12700K、128GB DDR4、Windows 與 Strata 0.1.43.1。
• Strata issue #2938：RX 7900 XTX、IQ3_S、Linux；約 98K prompt 的三次測試，prefill 中位數約 1,809.5 tok/s、decode 約 77.4 tok/s。該機為 Ryzen 9950X、96GB DDR5、Strata 0.1.45，參數也不同。
• Strata PR #1173：RX 7900 XTX、IQ3_S 報告約 1,612 prompt tok/s、78–80 decode tok/s；主機為 Ryzen 7950X3D、192GB DDR5。
• Strata 社群 benchmark 方法。

結論與限制

在這台 RX 7900 XTX 主機上，記錄到 IQ3_S 約 12 萬 token 測試 decode 中位數 65.05 tok/s。短 prompt A/B 將 pcie-frac 從 0.55 設為 0.0 後，平均 decode 從 60.30 提升至 65.27 tok/s；31,836-token prefill 持平。最終設定也完成 124.6K 與 249.3K 的六點回憶測試，以及 Hermes 的唯讀檔案／terminal 工具測試。

數據適用範圍是這台主機、目前 Strata 版本和 RVN IQ3_S pack。Q4 / IQ3_S 模型來源不同；長上下文各為單次樣本；尚未驗證精確 262,144-token 輸入、長時間 soak、多使用者併發、Telegram E2E、圖片輸入或 thinking-on 工作負載。