平民卡系列實測 # RTX 5070/12G 跑 Qwen3.8 Flash Next 79.6 tok/s(Strata IQ3_S)KV int8 部署與測速
-
RTX 5070 跑 Qwen3.8 Flash Next(Strata IQ3_S)KV int8 部署與測速報告
測試日期: 2026-11-10(台灣時間);原 q4_0 矩陣約 17:22,KV A/B 約 21:04–21:33;社區規格對標補測約 21:42–21:43。
現役部署: KV cacheint8;持續 presetRTX 5070 IQ3_S 256K int8。
測試狀態: int8 吞吐矩陣、endpoint completion、社區規格補測均已完成並讀回;精度 A/B 未完成,本報告不宣稱 int8 與 q4_0 的回答品質差異。現役 int8 速度摘要
本機單張 RTX 5070 12GB 執行同一份
Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S權重。int8 指 KV cache 格式,不是模型權重量化;context 262,144、MTP 開啟、parallel 1。工作負載 int8 實測 樣本情況 41 input / 100 output,decode 中位 79.6 tokens/s;範圍 78.3–84.4 3 次,有效 31,836 input,prefill 中位 2,125.4 tokens/s;範圍 2,124.6–2,174.1 3 次,有效 99,004 input / 256 output,prefill 中位 2,155.0 tokens/s;範圍 2,116.4–2,170.7 3 次,有效 99,004 input / 256 output,decode 中位 65.8 tokens/s;範圍 64.7–67.1 3 次,有效 124,634 / 249,288 input,抽取檢查 prefill/decode 分別 2,127.9/63.7、2,025.5/70.7 tokens/s;兩次 6/6 找回 各 1 次;輸出只到 70 tokens,非固定長度速度樣本 與同日 q4_0 矩陣相比,int8 的長提示 prefill 在 99K 略高、31.8K 略低;99K decode 較低。短提示 decode 略高。結果沒有單一格式在每項速度都勝出。99K/256 的完整請求 wall 中位數 int8 49.915 秒、q4_0 51.342 秒,約差 1.4 秒;短提示整體 wall 則 q4_0 較短。
部署決定: 依店長指示,現役服務與儲存 preset 已切到 KV int8。這是目前部署選擇,不代表本次已證明 int8 回答品質較好。
測試主機與硬體
項目 本機讀回 CPU Intel Xeon Ice Lake-SP 世代,38 核心 / 76 執行緒,單 socket;Linux 暴露的 CPU 品牌字串為 Genuine Intel(R) CPU 0000%@,無法由本次讀回確認更細的 SKU主機板 DMI 讀回 GIGABYTE MU72-SU0-00系統記憶體 128 GB 級;Ubuntu 可用容量讀回約 125 GiB。測試後快照可用約 59–60 GiB。記憶體速度未取得可驗證讀回值 推理 GPU NVIDIA GeForce RTX 5070,12,227 MiB 顯存,PCI 0000:C3:00.0,250 W power limit顯示 GPU NVIDIA GeForce RTX 3060,Strata 設為 off;桌面/ComfyUI 留在此卡,不列入推理 GPU NVIDIA Driver 595.99.02 作業系統 Ubuntu 24.04.4 LTS,Linux 7.0.0-42-generic 系統碟 MSI M450 1TB NVMe(系統根目錄所在裝置) 顯卡隔離: Strata engine 實際啟動參數指定 CUDA GPU 1 為主卡、GPU 0 為 off;程序讀回確認 Strata PID 在 RTX 5070。當次測後
nvidia-smi顯示 RTX 5070 約 11,324 MiB used,RTX 3060 約 331 MiB used。這是測試後快照,不是整段測速期間的峰值紀錄。模型與實際執行設定
- 模型:
qwen3.8-flash-next-iq3_s,Qwen3.8-Flash-Next GSQ-RCO IQ3_S,兩個 GGUF shards。 - Strata Terminal:0.2.13.1(Control 0.1.59.1)。
- Strata engine:0.1.59,CUDA 13。
- Context:262,144;parallel:1;vision:off。
- KV:int8;MTP:開啟,
--spec 4 --spec-min-p 0.7。 - 其他引擎參數:
--expert-cache auto --prefill auto --vram-reserve-mib 700 --kv-resident 32768 --pcie-frac 0.35。 - 測試請求:temperature 0、top_k 1、top_p 1、min_p 0、seed 42、reasoning off、prompt cache disabled;每組依下表重複。完整 tokenizer/chat template 用本機 IQ3_S tokenizer 精確計數,並核對 API usage 與 engine prompt count。
現役讀回: saved preset
RTX 5070 IQ3_S 256K int8、active runtime JSON/home/jaran/.hermes/strata-5070/state/strata/launch/rtx-5070-iq3_s-256k-int8.json與 engine process args 均為--kv int8。舊 q4_0 preset 保留作為 A/B 回退。q4_0 歷史速度矩陣(現役 int8 之前)
以下是 int8 部署前的 q4_0 對照基準,並非目前服務設定。Prefill 是處理輸入 prompt 的吞吐;decode 是逐 token 生成速度。速度取自引擎 timing 欄位。
工作負載 重複 Prefill tokens/s Decode tokens/s TTFT / 總耗時 結果與說明 41 input / 100 output 3 平均 105.4;中位 105.0 平均 78.5;中位 77.0;範圍 76.5–82.1 TTFT 約 0.407–0.416 秒;總耗時約 1.615–1.698 秒 三次有效;短 prompt 速度受固定開銷影響 31,836 input / 2 output 3 平均 2,205.3;中位 2,204.3;範圍 2,193.8–2,217.8 僅 2 個輸出 token,不拿來估 decode TTFT 約 14.404–14.561 秒 三次有效;主要用來看長 prompt prefill 99,004 input / 256 output 3 平均 2,088.8;中位 2,082.1;範圍 2,074.7–2,109.5 平均 71.0;中位 71.4;範圍 69.0–72.6 TTFT 約 47.035–47.833 秒;總耗時約 50.600–51.343 秒 三次有效;cache 0、無排隊或其他 prompt 124,634 input / 101 output 1 2,077.9 70.4 TTFT 60.099 秒;總耗時 61.514 秒 抽取測試通過,6/6 代碼找回;單次樣本 249,288 input / 101 output 1 1,985.0 81.1 TTFT 125.803 秒;總耗時 127.032 秒 速度條件乾淨,但 101-token 上限截斷最後一筆代碼;不列為有效抽取結果 249,288 input / 96 output 1 2,008.6 79.1 TTFT 124.354 秒;總耗時 125.544 秒 JSON 抽取 6/6 通過;輸出長度不同且非原速度矩陣同條件,不當作速度重複樣本 速度矩陣採用的 41-token、31,836-token 與 99,004-token 樣本均
cache_n=0、busy_queue_peak=0,engine prompt token 數與 tokenizer/API 實際 prompt 數相符。測試前確認服務 idle;速度矩陣期間暫停hermes-turns-web/watcher.py,結束後以 SIGCONT 恢復。原始檔記錄完整生成速度與採用條件。社區常見測法與本次覆蓋範圍
查到的 Strata/Qwen 社區報告通常會列硬體、模型量化、引擎版本、context/KV/MTP、prompt 長度、輸出 token 數、warm-up/重複次數,並分開列 prefill/decode。可用的比較還會揭露 prompt/chunk 與快取條件,而不是只貼一個單次 tokens/s。
本次已有:短提示、約 32K prefill、約 99K 長輸入加長輸出、124K/249K 長上下文,以及分散式檢索正確性。**尚未測:**滿 262,144-token 的完整 prompt、持續數十分鐘 soak、並發/多 slot、MTP 關閉 A/B、vision、不同 KV 格式與不同模型量化。這些不在目前速度數字的宣稱範圍。
社區參考(不可直接當同條件排名)
Strata 上游一份 RTX 5070 單卡 IQ3_S 社區測試,在 256K context / q4_0 KV 記錄 2,040.7 prefill、78.5 decode tokens/s;其環境是 Windows 11、CUDA 13、另一顆高階 CPU、MTP
spec-min-p 0.5、vision 開啟、700-token code prompt,並採 warm-up 後單筆測量。本機 249K 測得約 2,008–2,009 prefill、約 79 decode,量級接近;prompt、MTP threshold、vision、CPU、engine build 與重複數不同,因此只能說結果相近,不能當完全同條件 A/B。Strata 另一份 RTX 5070 Ti IQ3_S 公開測試用 4K/32K prompt、256-token 上限與三次中位數,並公開 OS、driver、CPU、RAM 與變異限制;5070 Ti 不是本機 5070,僅參考其報告格式與測試設計。
限制
- 249K 檔位沒有三次同條件速度重複,也沒有送滿完整 262,144 tokens;不要把「支援 256K context」寫成「已量滿 256K prompt 的速度」。
- 沒有完整記錄測速期間 GPU clock、溫度、功耗與 CPU/RAM 頻寬,也沒有測前 swap baseline;本報告不對散熱或長時間穩態作結論。
- 41-token prompt 的 prefill 數值主要反映短請求固定成本,不代表長輸入吞吐。
- MTP 的 draft acceptance、輸出品質與 tokens/s 會隨 prompt 內容變化;合成輸入的基準不能代表每種真實工作量。
- 工具呼叫全流程秒數包含模型思考與工具間隔,和引擎 prefill/decode tokens/s 是不同指標。
可重現資料
- 現役 int8 逐筆速度資料:
tmp/strata-5070-int8-20261110/runs_isolated.jsonl - 現役 int8 彙總與 q4_0 對照:
tmp/strata-5070-int8-20261110/summary_verified.json - q4_0 歷史基準逐筆資料:
tmp/strata-5070-benchmark-20261110/runs_isolated.jsonl - 驗證彙總:
tmp/strata-5070-benchmark-20261110/summary_verified.json - 測試程式:
tmp/strata-5070-benchmark-20261110/benchmark.py - 2026-11-10 handoff 的速度測試紀錄:
handoffs/2026-11-10_handoff.md
外部參考
- Strata 上游 RTX 5070 + RTX 5060 Ti IQ3_S benchmark(含 RTX 5070 單卡列、參數與限制):https://github.com/Niko1221/Strata/issues/4603
- Strata community RTX 5070 Ti IQ3_S 三次中位數報告:https://github.com/Guido3D/Strata---Qwen3.8-Flash-Next/tree/main/bench/results/2026-10-06-community-rtx5070ti-5900x
- llama.cpp batched-bench 對 prompt processing、generation 與 total speed 的分項定義:https://github.com/ggml-org/llama.cpp/blob/master/tools/batched-bench/README.md
KV int8 / q4_0 單變因 A/B 詳表(2026-11-10)
此處的 int8 指 KV cache 格式,模型權重仍是同一份 Qwen3.8-Flash-Next GSQ-RCO IQ3_S。除了
--kv q4_0改成--kv int8,其餘採同一 RTX 5070 preset:context 262,144、parallel 1、MTP spec 4 / min-p 0.7、kv-resident=32768、pcie-frac=0.35、reserve 700 MiB、vision off。兩邊都關閉 request prompt cache,temperature 0,reasoning off;採用樣本均 prompt token 數與 engine 計數一致、queue 0。每個固定速度條件各三次。workload q4_0 中位 int8 中位 變化(int8 對 q4_0) 41 input / 100 output,decode 77.0 tok/s 79.6 tok/s(範圍 78.3–84.4) +3.4% 31,836 input,prefill(3 次) 2,204.3 tok/s 2,125.4 tok/s(範圍 2,124.6–2,174.1) -3.6% 99,004 input / 256 output,prefill 2,082.1 tok/s 2,155.0 tok/s(範圍 2,116.4–2,170.7) +3.5% 99,004 input / 256 output,decode 71.4 tok/s 65.8 tok/s(範圍 64.7–67.1) -7.8% TTFT / client wall 中位數:短提示 int8 0.550 / 1.789 秒;99K int8 46.043 / 49.915 秒。該 99K 工作負載的三筆 prompt cache 為 0,完整 256 output,沒有排隊。短提示 prefill 為 77.8 tok/s;這是 41-token prompt 的固定延遲結果,不應解讀為長文輸入吞吐。
124,634 與 249,288-token 抽取都成功找回 6/6 值,prefill/decode 分別為 2,127.9/63.7 與 2,025.5/70.7 tok/s。但兩次都在輸出 70 tokens 後自然 EOS,少於固定測速要求的 101 tokens,因此只列為 recall pass,不納入速度中位數。沒有完整 262,144-token prompt 或 soak。
判讀: int8 沒有一致的速度優勢。短 prompt decode 小幅增加;99K prefill 增加約 3.5%,但同一工作負載 decode 下降約 7.8%;31.8K prefill 也下降約 3.6%。A/B 後曾暫時恢復 q4_0;依後續部署指示,現役服務現已使用保存的 int8 preset。此次未做精度 A/B,因此不對兩種 KV 格式的回答品質下結論。
int8 原始逐筆記錄:
/home/jaran/.hermes/tmp/strata-5070-int8-20261110/runs_isolated.jsonl;彙總及 q4_0 比值:/home/jaran/.hermes/tmp/strata-5070-int8-20261110/summary_verified.json。後續部署讀回:/health loaded=true、/metrics kv=int8、context262144、/slots idle;真實 API completion 回INT8_DEPLOYED_OK,finish=stop。
社區規格對標補測(2026-11-10 21:42–21:43 CST)
本節為部署驗證完成後,以社區主流 benchmark 設計跑的額外一輪測試,目的是讓數字可以與 llama.cpp / Strata 社區常見格式並排比較。
測試設計說明
社區主流做法(llama.cpp
llama-bench、Reddit r/LocalLLaMA、Strata 論壇)的共同要素:- 分離 PP(prefill)與 TG(decode):兩者瓶頸不同,prefill 偏 compute bound,decode 偏 memory bandwidth bound,不能混用。
- 多檔位 prompt 長度:通常至少測 128、512、4K token,進階加 32K+,才能看出速度隨 context 的變化趨勢。
- 固定輸出長度:decode 測試需要足夠多的輸出 token(社區常用 128–256)才能讓 MTP 暖起來、平均掉固定開銷。
- Warm-up:第一筆視為 warm-up,OS page fault 與動態頻率等異常只影響第一筆。
- 本節中 warm-up run1 同時也是每組唯一的冷啟動 prefill 樣本;其含啟動固定開銷,會略為低估真實冷速,故各檔位 prefill 有效值視為保守下限(pp_128 的 217.4 tok/s 最明顯)。
- 至少 3 次取中位數:過濾偶發高低值。
- Greedy decode + seed 固定:temperature=0、top_k=1、seed=42,確保可重現。
- 揭露 prompt 內容與 cache 狀態:透明標記 prompt 是否命中 cache,這是本節最重要的發現之一(詳見下方陷阱說明)。
本次按以上設計安排 7 組測試、每組 3 次,涵蓋 128、512、4K token 檔位,以及最高一組實際 26,751 token(組名
tg_32k_ctx為約略稱,非滿 32K)的 PP-only(2 token 輸出)與完整 PP+TG(200–256 token 輸出)兩種模式。測試環境(與主測試完全相同)
項目 值 GPU NVIDIA GeForce RTX 5070,12 GB GDDR7 模型 qwen3.8-flash-next-iq3_s,Qwen3.8-Flash-Next GSQ-RCO IQ3_SStrata engine 0.1.59,CUDA 13 KV cache int8(本節測試時的現役設定) Context 262,144 MTP 開啟,spec=4,min-p=0.7 kv-resident 32,768 tokens pcie-frac 0.35 Parallel 1 Temperature 0 Top-k 1 Seed 42 Reasoning off Request prompt cache cache_n=0(關閉單請求快取)注意:Strata conversation cache(8,192 MiB,4 slots)在引擎層仍保持啟用;當同一 prompt 在同組內重複送出時,run2/run3 的 KV state 會從 conversation cache 命中,造成 prefill 時間大幅壓縮。這是本次測試揭露的重要方法論陷阱,詳見下方「Conversation Cache 命中問題」節。
Prompt 內容說明
組別 Prompt 構成 實際 prompt token 數 pp_128 / tg_short 隨機英文常用詞(python random.seed(999),約 122 詞)156 pp_512 / tg_mid 同上,約 391 詞 480–485 pp_4096 / tg_long_ctx 同上,約 2,692 詞 3,452–3,464 tg_32k_ctx 同上,約 20,850 詞 26,751 Prompt 採純英文常用詞(
apple river mountain cloud system network model token…等約 30 詞隨機抽取),不包含程式碼或推理內容。同一組內所有 run 使用相同 prompt(同一 random seed 固定)。逐筆原始資料
pp_128 — 128 token 等級 Prefill Only(輸出 2 tokens)
Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s Wall 1
warm-up(冷啟動)717.7 ms 51.7 ms 217.4 38.7 0.776 s 2
cache 命中(無效)164.0 ms 42.2 ms 951.2 47.4 0.212 s 3
cache 命中(無效)174.5 ms 46.7 ms 894.0 42.8 0.227 s 有效 prefill(冷啟動 run1):217.4 tok/s
pp_512 — 512 token 等級 Prefill Only(輸出 2 tokens)
Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s Wall 1
warm-up(冷啟動)869.4 ms 49.7 ms 557.9 40.2 0.925 s 2
cache 命中(無效)178.1 ms 55.9 ms 2,723.2 35.8 0.241 s 3
cache 命中(無效)171.4 ms 46.3 ms 2,829.6 43.2 0.224 s 有效 prefill(冷啟動 run1):557.9 tok/s
pp_4096 — 4K token 等級 Prefill Only(輸出 2 tokens)
Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s Wall 1
warm-up(冷啟動)2,272.6 ms 50.9 ms 1,519.0 39.3 2.332 s 2
cache 命中(無效)195.6 ms 45.7 ms 17,648.3 43.8 0.248 s 3
cache 命中(無效)201.2 ms 48.9 ms 17,157.1 40.9 0.284 s 有效 prefill(冷啟動 run1):1,519.0 tok/s
tg_short — 128 token 輸入 / 200 token 輸出
Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s MTP 接受率 Wall 1
warm-up718.9 ms 1,975.1 ms 217.0 101.3 0.923 2.700 s 2
cache 命中178.2 ms 1,899.1 ms 875.4 105.3 0.921 2.084 s 3
cache 命中178.8 ms 1,908.0 ms 872.5 104.8 0.944 2.092 s Decode 有效(cache 不影響 decode)中位:104.8 tok/s
Prefill 有效(冷啟動 run1):217.0 tok/s
tg_mid — 512 token 輸入 / 200 token 輸出
Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s MTP 接受率 Wall 1
warm-up789.8 ms 1,347.4 ms 607.7 148.4 0.978 2.144 s 2
cache 命中189.1 ms 1,107.9 ms 2,538.3 180.5 0.978 1.304 s 3
cache 命中173.4 ms 1,117.3 ms 2,768.2 179.0 0.979 1.298 s Decode 有效中位:179.0 tok/s(MTP 接受率 0.978)
Prefill 有效(冷啟動 run1):607.7 tok/s
tg_long_ctx — 4K token 輸入 / 256 token 輸出
Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s MTP 接受率 Wall 1
warm-up2,284.1 ms 1,341.7 ms 1,516.6 190.8 0.991 3.636 s 2
cache 命中206.9 ms 1,353.6 ms 16,742.4 189.1 0.987 1.568 s 3
cache 命中215.2 ms 1,353.0 ms 16,096.7 189.2 0.979 1.576 s Decode 有效中位:189.2 tok/s(MTP 接受率 0.987)
Prefill 有效(冷啟動 run1):1,516.6 tok/s
tg_32k_ctx — 32K token 等級輸入(實測 26,751)/ 256 token 輸出
Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s MTP 接受率 Wall 1
warm-up(冷啟動)12,287.7 ms 1,530.4 ms 2,177.1 167.3 0.936 13.851 s 2
cache 命中(無效)423.2 ms 1,500.3 ms 63,211.2 170.6 0.940 1.939 s 3
cache 命中(無效)307.4 ms 1,497.6 ms 87,023.4 170.9 0.936 1.821 s Decode 有效中位:170.6 tok/s(MTP 接受率 0.936)
Prefill 有效(冷啟動 run1):2,177.1 tok/s
有效速度摘要
組別 prompt tokens output tokens 有效 Prefill(冷啟動) 有效 Decode 中位 MTP 接受率 pp_128 156 2 217.4 tok/s — — pp_512 485 2 557.9 tok/s — — pp_4096 3,452 2 1,519.0 tok/s — — tg_short 156 200 217.0 tok/s 104.8 tok/s 0.921–0.944 tg_mid 480 200 607.7 tok/s 179.0 tok/s 0.978–0.979 tg_long_ctx 3,464 256 1,516.6 tok/s 189.2 tok/s 0.979–0.991 tg_32k_ctx 26,751 256 2,177.1 tok/s 170.6 tok/s 0.936–0.940 Conversation Cache 命中問題(重要方法論說明)
本次測試每組重複使用同一 prompt(固定 random seed),Strata 的 conversation cache(8,192 MiB、4 slots,常駐啟用)在 run2/run3 命中了上一筆的 KV state,造成 prefill 時間從數秒壓縮到 0.2–0.4 秒,prefill tok/s 膨脹數倍至數十倍,完全不代表真實的冷啟動 prefill 速度。
組別 warm-up prefill(真實) run2 prefill(cache,無效) 膨脹倍數 pp_128(156 tok) 217.4 tok/s 951.2 tok/s 4.4× pp_512(485 tok) 557.9 tok/s 2,723.2 tok/s 4.9× pp_4096(3,452 tok) 1,519.0 tok/s 17,648.3 tok/s 11.6× tg_32k(26,751 tok) 2,177.1 tok/s 63,211.2 tok/s 29.0× Decode 則不受 conversation cache 影響(KV state 命中只加速 prefill,decode 仍逐 token 計算),因此 decode 中位數有效。
應對措施:要取得可重現的多次 prefill 中位數,需每次使用不同 prompt 或在送出前主動 evict cache,不能直接重送同一訊息。本節主測試(
tmp/strata-5070-int8-20261110/)每組均使用不同 prompt,沒有此問題。與主測試數字交叉比對
比較項目 本節 warm-up run1(冷啟動) 主測試中位(不同 prompt × 3) 判斷 32K 等級(實測 26,751)prefill 2,177.1 tok/s 2,125.4 tok/s(31,836)
量級吻合(兩檔位實際 prompt 長度不同:26,751 vs 31,836)Short decode(MTP 高接受率) 104.8 tok/s 79.6 tok/s
見下方說明Short decode 差異(104.8 vs 79.6 tok/s)的原因:本節 prompt 為隨機英文常用詞,MTP 預測接受率高達 0.921–0.944;主測試使用真實任務型 prompt(41 tokens,自然語言問答),MTP 接受率較低,且 short41 組輸出只有 100 個 token(固定開銷佔比大;主測試 99K 組輸出為 256,該因素僅適用於短提示對照)。兩個數字都是真實量測,適用情境不同,不互相矛盾。
社區規格對標小結
- Prefill 冷啟動(本次 warm-up run1):128 tok → 217 tok/s;512 tok → 558 tok/s;4K tok → 1,519 tok/s;26.8K tok(實測 26,751)→ 2,177 tok/s。量級與社區 RTX 5070 IQ3_S 報告(Strata 論壇 2,040 tok/s @ 256K context / q4_0 KV)一致。
- Decode(MTP 接受率 0.92–0.99 下):128 tok prompt → 104.8 tok/s;512 tok → 179 tok/s;4K tok → 189 tok/s;26.8K tok(實測 26,751)→ 171 tok/s。這是 MTP 在隨機詞 prompt 下的理想表現,日常任務型 prompt 的接受率通常低於此,對應到主測試的 65.8–79.6 tok/s 區間。
- 社區 RTX 5070 IQ3_S 冷 decode 參考:50–70 tok/s(無 MTP 或低 MTP 接受率)至 ~80 tok/s(MTP 開啟,較短 context)。本機在 MTP 高接受率條件下超出此區間,在主測試實際任務條件下(79.6 tok/s)落在社區上緣。(證據分級:有引證讀回的是上游 issue #4603 單筆 78.5 tok/s;「50–70」區間為社群普遍印象值,本次未能直接引證原始出處。)
- 模型:
-
同場加映之前測過的卡
Qwen3.8 Flash Next 平民卡測速對標(3060 單/雙卡 → 5070 → 7900 XTX)
日期: 2026-11-11|本檔為持續更新的平民卡實測彙整:單/雙 RTX 3060、RTX 5070,並以旗艦 RX 7900 XTX 作上限參考。同一台主機(Xeon Ice Lake-SP 38C/76T、128 GiB RAM)、同一模型家族(Qwen3.8-Flash-Next 125B MoE),所有數字均為本機引擎實測讀回,非推估。
1. 部署快照(7900 XTX/5070;3060 雙卡部署見 §2.4)
項目 RX 7900 XTX(2026-10-30 ~ 11-10 以前) RTX 5070(2026-11-10 現役) GPU AMD Radeon RX 7900 XTX 24 GiB(gfx1100,显存带宽 960 GB/s,AMD 官方参考值;本機功耗標稱 355 W 未讀回) NVIDIA RTX 5070 12,227 MiB GDDR7(PCI C3:00.0,本機讀回 power limit 250 W;帶寬官方參考值本輪未引證,不做宣稱) 引擎 nicejunjie/Strata-rdna3PR#1(commit309f0c8),engine 0.1.43,ROCm 10.1,Docker container(rocm/dev-ubuntu-24.04),restart policynoStrata engine 0.1.59 CUDA 13,Strata Terminal 0.2.13.1(Control 0.1.59.1),原生程序( ~/.hermes/strata-5070/),非 Docker模型 gsq-rco-qwen3.8-flash-next-iq3_s(IQ3_S 兩 shards)Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S(同一權重家族、兩 shards)→ 權重可比Context / KV 262,144;fork cache 2 GiB/2 槽 262,144;KV int8、conversation cache 8 GiB/4 槽 MTP spec 4、spec-min-p 0.5(推定,未逐字讀回) spec 4、spec-min-p 0.7(讀回) 其他關鍵參數 pool workers 37、hipBLASLt/WMMA 調校路徑、vision on(CPU helper) --kv-resident 32768 --pcie-frac 0.35 --vram-reserve-mib 700、vision off主機平台 同一台:Xeon Ice Lake-SP 38C/76T、128 GiB RAM、GIGABYTE MU72-SU0-00(三張卡依序在同一機實測) 備註: 7900 XTX 走社群 RDNA3 fork(主線對 gfx1100 無增益);5070 走 Strata 官方主線 CUDA,250 W 較省電。兩代測試均為 idle、queue=0、prompt cache 關閉的受控測速。
2. 速度實測對標
2.1 同模型 IQ3_S 各檔位(prefill / decode,tok/s)
檔位 7900 XTX(fork 0.1.43,fresh prompt×1 per 檔,2026-10-30) 5070(int8,2026-11-10) 5070 相對 ~32K(XTX 32,045 / 5070 31,836・26,751) 3,599.0 / 90.4 prefill 2,125.4(decode 樣本 26.4,2-token 輸出不作 decode 對照);26.8K 補測 2,177.1 / 170.6* prefill ×0.59;decode* ×1.89(條件不同,見 2.3) ~64K 3,673.7 / 85.1 未測 — ~99K 3,594.7 / 102.3(0.1.45 舊版 1,712.4 / 75.2) 2,155.0 / 65.8 prefill ×0.60;decode ×0.64 ~128K(XTX 131,056) 3,682.4 / 89.3 未測(124,634 抽取檢查 prefill 2,127.9) prefill ×0.58 ~256K(XTX 260,002) 3,383.1 / 91.2 249,288 抽取檢查 2,025.5;未跑滿 260,002 prefill ×0.60 短提示(1,494 對 41/156/480) 短測 prefill 中位 1,025.4;decode 中位 106.75;日常 41~94 tok/s 級 prefill 112.6 short41 decode 中位 79.6;社区檔位冷 prefill 217.4(156)/ 557.9(485) decode ×0.75;短 prefill 因固定開銷口徑不同,不直接對倍 2.2 端到端真實任務壓測(2026-11-07,7900 XTX fork 現役時)
任務 Prefill Decode MTP 命中率 短日常(94 in/150 out) 112.6 96.6 82.9% 中長(1,330 in/300 out) 1,245.0 97.9 91.7% 萬字長文(11,671 in/350 out) 2,803.8 100.5 90.4% 2.3 真實多輪流量旁證(推理引擎 log,實際工作對話)
卡 實際對話 decode 實際長 prompt prefill 5070(2026-11-10 真實多輪工作 session,81~87k ctx) 平均 79.0(66.2–91.3),MTP 接受率 ~80% 81,141 tok 冷讀 2,198.7;後續多輪增量讀取 <1s 7900 XTX(2026-10 期間 0.1.40/0.1.45 log) 52~78(Q4 時期 51~55;IQ3_S 0.1.45 短測 78.7) 120K 檔 1,590(0.1.40 調校後);fork 後 3,383~3,682 核心判定:7900 XTX 在同一權重下 prefill 約為 5070 的 1.6~1.7 倍(2,125~2,177 vs 3,383~3,682),長上下文 decode 約 1.4~1.6 倍(65.8 vs 102.3 @99K)。5070 沒有在任何同條件檔位贏過 fork 版 7900 XTX。
2.4 RTX 3060 單卡/雙卡(2026-10-07 部署,平民卡基準線)
部署 snapshot: 雙 RTX 3060 12GB(總 24GB,PCIe Gen4 x16)、Strata v0.1.40.1 CUDA、模型
mradermacher/Qwen3.8-Flash-Next-Uncensored IQ4_XS(單檔 98.4 GB)、context 262,144、KV int8、kv-resident 32768、pcie-frac 0.20、MTP spec4/min-p0.70、layer-split auto;綁 8081。配置(同 119,992-token prompt/128 輸出) Prefill Decode Wall 雙 RTX 3060(校準後) 1,786.0 44.8 70.6 s 單 RTX 3060(獨立校準) 997.0 40.4 124.1 s 雙卡 235,016-token 極限檔 1,747.3(校準後;原設定 1,744.6) 41.8 → 校準後 51.2(IQ4_XS 復測 51.2,MTP 84%) 138.6 s 雙卡 IQ4_XS 復測(10-07 另報告) 120K:1,774.3/decode 40.3、wall 71.38 s;短 decode 53.7~56.8 雙卡 vs 單卡(平民卡核心發現): 同 prompt 下雙 3060 prefill +79%(×1.79)、decode 僅 +11%(×1.11)、wall 時間少 43%。原因:MoE 專家按 layer-split 分佈兩卡,prefill 算力近似疊加;decode 受 PCIe/RAM 與 KV 頻寬限制,疊加效益小。單卡 expert-cache slots 2,377(4.57 GiB)。
️ Comparability 界線(發文必附):- 3060 數據是 Uncensored IQ4_XS 舊權重、Strata 0.1.40.1、綁 8081,與 5070/7900 XTX 的 GSQ-RCO IQ3_S 非同權重、非同引擎版本、prompt 也非逐字相同,不可作純 GPU 同條件差值。
- 有趣的是雙 3060(24GB)120K prefill 1,786 甚至高於 7900 XTX 初代 0.1.40 未調校期(742)與 5070 之外檔位——但那是不同權重(IQ4_XS 單檔 vs IQ3_S shards)與不同 build,僅能作為「2×12GB 平民雙卡的 prefill 性價比參考」,不能寫成「3060 比 7900 XTX 快」。
- 3060 時期同機測過 K8V4 KV 格式:235K prefill 1,613 vs int8 1,747,int8 較快。
3. 差異根因與方法學備註
- VRAM 是 5070 的結構性天花板:12 GB 裝不下 125B MoE+256K KV,必須
kv-resident 32768(KV 只駐 32K tokens,其餘走pcie-frac 0.35)+專家部分下放 RAM;99K decode 只有 65.8、254K 以上無法做速度樣本。7900 XTX 24 GB 原生裝納,256K 檔 decode 仍 91.2、prefill 不崩。 - MTP 門檻不同不可忽略:XTX fork 用 min-p 0.5(接受率高但較激進)、5070 用 min-p 0.7(較保守)。但 99K 檔 5070 隨機詞接受率高達 0.94 仍 decode 65.8,XTX 接受率僅 50~65% 卻 decode 102 → 頻寬/原生 KV 優勢壓過 MTP 門檻差異,判定方向不變。
- 合成隨機詞 prompt 會灌水 decode 數字:5070 補測的 104.8~189.2 tok/s 是 MTP 對隨機常用詞的高接受率理想值(0.92–0.99),不可與 7900 XTX 真實任務 96~106 直接比;同質(真實任務)對標應以 §2.2 vs §2.1 short41:96.6~100.5 vs 79.6。
- 引擎代差反向偏袒 5070:5070 用 0.1.59 新版、XTX 是 0.1.43 fork;即便如此 5070 prefill 仍只有六成 → 差距是硬體帶寬與 VRAM(KV/專家外送),不是版本落後可解釋。
- 5070 的相對優勢在運維面:官方主線 CUDA(免社群 fork 維護)、250 W 功耗、conversation cache 讓多輪工作流增量讀取 <1s。
4. 結論與建議
- 純速度(prefill 與長上下文 decode):7900 XTX+RDNA3 fork 明顯較快,尤其 99K~256K 長上下文是 12 GB 5070 物理上無法追平的檔位。
- 平民卡基線(3060 世代):2×12GB 雙 3060 以 layer-split 就能把 125B MoE 跑到 256K context、120K prefill 1,786/decode 40~51(IQ4_XS 舊權重,口徑見 §2.4 界線);單卡 3060 prefill 只剩 ×0.56。平民卡多卡加值主要在 prefill(×1.79)與 VRAM 總量,decode 加分有限(×1.11)——這條規律在 5070(12GB 單卡被 KV/專家外送拖 decode)上也再次成立。
- 5070 vs 雙 3060(跨世代參考,非同權重):5070 單卡 99K prefill 2,155 明顯高於雙 3060 的 1,786(但權重/引擎不同,僅供「新卡架構紅利」參考,發文需附界線)。
- 5070 適用情境(數據面):日常中短上下文(<32K)decode 79~91 tok/s,屬平民卡單卡可用區間;超過 100K 檔位因 12GB VRAM 需要 KV/專家外送,速度與可測範圍都明顯受限。
- 平民卡多卡策略含意:以本機數據看,12GB 級平民卡跑 125B MoE,加卡主要買的是 VRAM 總量與 prefill 吞吐(雙 3060 ×1.79 prefill),decode 提升有限;若目標是長上下文生成速度,大 VRAM 單卡(24GB 級)效益優於雙張 12GB。
- 未測缺口:64K 與滿 262,144 檔、soak、並發、vision、int8
q4_0 精度 A/B 未補齊;本報告不對答案品質下結論,僅呈現吞吐量測。
證據分級: §1/§2.1/§2.3/§2.4 全部來自本機引擎 log 與測速原始檔實體讀回(逐筆 tok/s 已程式重算驗證);§1 中 7900 XTX 帶寬與 355 W 為 AMD 官方參考值(非本機讀回)、5070 帶寬未引證不宣稱。
-
-