跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 平民卡系列實測 # RTX 5070/12G 跑 Qwen3.8 Flash Next 79.6 tok/s(Strata IQ3_S)KV int8 部署與測速

平民卡系列實測 # RTX 5070/12G 跑 Qwen3.8 Flash Next 79.6 tok/s(Strata IQ3_S)KV int8 部署與測速

已定时 已固定 已锁定 已移动 优秀 LLM讨论区
rtx5070strataqwen-flash
4 帖子 3 发布者 324 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • CHIA AN YANGC
    CHIA AN YANGC
    CHIA AN YANG
    王侯将相
    编写于 最后由 CHIA AN YANG 编辑
    #1

    RTX 5070 跑 Qwen3.8 Flash Next(Strata IQ3_S)KV int8 部署與測速報告

    測試日期: 2026-11-10(台灣時間);原 q4_0 矩陣約 17:22,KV A/B 約 21:04–21:33;社區規格對標補測約 21:42–21:43。
    現役部署: KV cache int8;持續 preset RTX 5070 IQ3_S 256K int8。
    測試狀態: int8 吞吐矩陣、endpoint completion、社區規格補測均已完成並讀回;精度 A/B 未完成,本報告不宣稱 int8 與 q4_0 的回答品質差異。

    現役 int8 速度摘要

    本機單張 RTX 5070 12GB 執行同一份 Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S 權重。int8 指 KV cache 格式,不是模型權重量化;context 262,144、MTP 開啟、parallel 1。

    工作負載 int8 實測 樣本情況
    41 input / 100 output,decode 中位 79.6 tokens/s;範圍 78.3–84.4 3 次,有效
    31,836 input,prefill 中位 2,125.4 tokens/s;範圍 2,124.6–2,174.1 3 次,有效
    99,004 input / 256 output,prefill 中位 2,155.0 tokens/s;範圍 2,116.4–2,170.7 3 次,有效
    99,004 input / 256 output,decode 中位 65.8 tokens/s;範圍 64.7–67.1 3 次,有效
    124,634 / 249,288 input,抽取檢查 prefill/decode 分別 2,127.9/63.7、2,025.5/70.7 tokens/s;兩次 6/6 找回 各 1 次;輸出只到 70 tokens,非固定長度速度樣本

    與同日 q4_0 矩陣相比,int8 的長提示 prefill 在 99K 略高、31.8K 略低;99K decode 較低。短提示 decode 略高。結果沒有單一格式在每項速度都勝出。99K/256 的完整請求 wall 中位數 int8 49.915 秒、q4_0 51.342 秒,約差 1.4 秒;短提示整體 wall 則 q4_0 較短。

    部署決定: 依店長指示,現役服務與儲存 preset 已切到 KV int8。這是目前部署選擇,不代表本次已證明 int8 回答品質較好。

    測試主機與硬體

    項目 本機讀回
    CPU Intel Xeon Ice Lake-SP 世代,38 核心 / 76 執行緒,單 socket;Linux 暴露的 CPU 品牌字串為 Genuine Intel(R) CPU 0000%@,無法由本次讀回確認更細的 SKU
    主機板 DMI 讀回 GIGABYTE MU72-SU0-00
    系統記憶體 128 GB 級;Ubuntu 可用容量讀回約 125 GiB。測試後快照可用約 59–60 GiB。記憶體速度未取得可驗證讀回值
    推理 GPU NVIDIA GeForce RTX 5070,12,227 MiB 顯存,PCI 0000:C3:00.0,250 W power limit
    顯示 GPU NVIDIA GeForce RTX 3060,Strata 設為 off;桌面/ComfyUI 留在此卡,不列入推理 GPU
    NVIDIA Driver 595.99.02
    作業系統 Ubuntu 24.04.4 LTS,Linux 7.0.0-42-generic
    系統碟 MSI M450 1TB NVMe(系統根目錄所在裝置)

    顯卡隔離: Strata engine 實際啟動參數指定 CUDA GPU 1 為主卡、GPU 0 為 off;程序讀回確認 Strata PID 在 RTX 5070。當次測後 nvidia-smi 顯示 RTX 5070 約 11,324 MiB used,RTX 3060 約 331 MiB used。這是測試後快照,不是整段測速期間的峰值紀錄。

    模型與實際執行設定

    • 模型:qwen3.8-flash-next-iq3_s,Qwen3.8-Flash-Next GSQ-RCO IQ3_S,兩個 GGUF shards。
    • Strata Terminal:0.2.13.1(Control 0.1.59.1)。
    • Strata engine:0.1.59,CUDA 13。
    • Context:262,144;parallel:1;vision:off。
    • KV:int8;MTP:開啟,--spec 4 --spec-min-p 0.7。
    • 其他引擎參數:--expert-cache auto --prefill auto --vram-reserve-mib 700 --kv-resident 32768 --pcie-frac 0.35。
    • 測試請求:temperature 0、top_k 1、top_p 1、min_p 0、seed 42、reasoning off、prompt cache disabled;每組依下表重複。完整 tokenizer/chat template 用本機 IQ3_S tokenizer 精確計數,並核對 API usage 與 engine prompt count。

    現役讀回: saved preset RTX 5070 IQ3_S 256K int8、active runtime JSON /home/jaran/.hermes/strata-5070/state/strata/launch/rtx-5070-iq3_s-256k-int8.json 與 engine process args 均為 --kv int8。舊 q4_0 preset 保留作為 A/B 回退。

    q4_0 歷史速度矩陣(現役 int8 之前)

    以下是 int8 部署前的 q4_0 對照基準,並非目前服務設定。Prefill 是處理輸入 prompt 的吞吐;decode 是逐 token 生成速度。速度取自引擎 timing 欄位。

    工作負載 重複 Prefill tokens/s Decode tokens/s TTFT / 總耗時 結果與說明
    41 input / 100 output 3 平均 105.4;中位 105.0 平均 78.5;中位 77.0;範圍 76.5–82.1 TTFT 約 0.407–0.416 秒;總耗時約 1.615–1.698 秒 三次有效;短 prompt 速度受固定開銷影響
    31,836 input / 2 output 3 平均 2,205.3;中位 2,204.3;範圍 2,193.8–2,217.8 僅 2 個輸出 token,不拿來估 decode TTFT 約 14.404–14.561 秒 三次有效;主要用來看長 prompt prefill
    99,004 input / 256 output 3 平均 2,088.8;中位 2,082.1;範圍 2,074.7–2,109.5 平均 71.0;中位 71.4;範圍 69.0–72.6 TTFT 約 47.035–47.833 秒;總耗時約 50.600–51.343 秒 三次有效;cache 0、無排隊或其他 prompt
    124,634 input / 101 output 1 2,077.9 70.4 TTFT 60.099 秒;總耗時 61.514 秒 抽取測試通過,6/6 代碼找回;單次樣本
    249,288 input / 101 output 1 1,985.0 81.1 TTFT 125.803 秒;總耗時 127.032 秒 速度條件乾淨,但 101-token 上限截斷最後一筆代碼;不列為有效抽取結果
    249,288 input / 96 output 1 2,008.6 79.1 TTFT 124.354 秒;總耗時 125.544 秒 JSON 抽取 6/6 通過;輸出長度不同且非原速度矩陣同條件,不當作速度重複樣本

    速度矩陣採用的 41-token、31,836-token 與 99,004-token 樣本均 cache_n=0、busy_queue_peak=0,engine prompt token 數與 tokenizer/API 實際 prompt 數相符。測試前確認服務 idle;速度矩陣期間暫停 hermes-turns-web/watcher.py,結束後以 SIGCONT 恢復。原始檔記錄完整生成速度與採用條件。

    社區常見測法與本次覆蓋範圍

    查到的 Strata/Qwen 社區報告通常會列硬體、模型量化、引擎版本、context/KV/MTP、prompt 長度、輸出 token 數、warm-up/重複次數,並分開列 prefill/decode。可用的比較還會揭露 prompt/chunk 與快取條件,而不是只貼一個單次 tokens/s。

    本次已有:短提示、約 32K prefill、約 99K 長輸入加長輸出、124K/249K 長上下文,以及分散式檢索正確性。**尚未測:**滿 262,144-token 的完整 prompt、持續數十分鐘 soak、並發/多 slot、MTP 關閉 A/B、vision、不同 KV 格式與不同模型量化。這些不在目前速度數字的宣稱範圍。

    社區參考(不可直接當同條件排名)

    Strata 上游一份 RTX 5070 單卡 IQ3_S 社區測試,在 256K context / q4_0 KV 記錄 2,040.7 prefill、78.5 decode tokens/s;其環境是 Windows 11、CUDA 13、另一顆高階 CPU、MTP spec-min-p 0.5、vision 開啟、700-token code prompt,並採 warm-up 後單筆測量。本機 249K 測得約 2,008–2,009 prefill、約 79 decode,量級接近;prompt、MTP threshold、vision、CPU、engine build 與重複數不同,因此只能說結果相近,不能當完全同條件 A/B。

    Strata 另一份 RTX 5070 Ti IQ3_S 公開測試用 4K/32K prompt、256-token 上限與三次中位數,並公開 OS、driver、CPU、RAM 與變異限制;5070 Ti 不是本機 5070,僅參考其報告格式與測試設計。

    限制

    1. 249K 檔位沒有三次同條件速度重複,也沒有送滿完整 262,144 tokens;不要把「支援 256K context」寫成「已量滿 256K prompt 的速度」。
    2. 沒有完整記錄測速期間 GPU clock、溫度、功耗與 CPU/RAM 頻寬,也沒有測前 swap baseline;本報告不對散熱或長時間穩態作結論。
    3. 41-token prompt 的 prefill 數值主要反映短請求固定成本,不代表長輸入吞吐。
    4. MTP 的 draft acceptance、輸出品質與 tokens/s 會隨 prompt 內容變化;合成輸入的基準不能代表每種真實工作量。
    5. 工具呼叫全流程秒數包含模型思考與工具間隔,和引擎 prefill/decode tokens/s 是不同指標。

    可重現資料

    • 現役 int8 逐筆速度資料:tmp/strata-5070-int8-20261110/runs_isolated.jsonl
    • 現役 int8 彙總與 q4_0 對照:tmp/strata-5070-int8-20261110/summary_verified.json
    • q4_0 歷史基準逐筆資料:tmp/strata-5070-benchmark-20261110/runs_isolated.jsonl
    • 驗證彙總:tmp/strata-5070-benchmark-20261110/summary_verified.json
    • 測試程式:tmp/strata-5070-benchmark-20261110/benchmark.py
    • 2026-11-10 handoff 的速度測試紀錄:handoffs/2026-11-10_handoff.md

    外部參考

    • Strata 上游 RTX 5070 + RTX 5060 Ti IQ3_S benchmark(含 RTX 5070 單卡列、參數與限制):https://github.com/Niko1221/Strata/issues/4603
    • Strata community RTX 5070 Ti IQ3_S 三次中位數報告:https://github.com/Guido3D/Strata---Qwen3.8-Flash-Next/tree/main/bench/results/2026-10-06-community-rtx5070ti-5900x
    • llama.cpp batched-bench 對 prompt processing、generation 與 total speed 的分項定義:https://github.com/ggml-org/llama.cpp/blob/master/tools/batched-bench/README.md

    KV int8 / q4_0 單變因 A/B 詳表(2026-11-10)

    此處的 int8 指 KV cache 格式,模型權重仍是同一份 Qwen3.8-Flash-Next GSQ-RCO IQ3_S。除了 --kv q4_0 改成 --kv int8,其餘採同一 RTX 5070 preset:context 262,144、parallel 1、MTP spec 4 / min-p 0.7、kv-resident=32768、pcie-frac=0.35、reserve 700 MiB、vision off。兩邊都關閉 request prompt cache,temperature 0,reasoning off;採用樣本均 prompt token 數與 engine 計數一致、queue 0。每個固定速度條件各三次。

    workload q4_0 中位 int8 中位 變化(int8 對 q4_0)
    41 input / 100 output,decode 77.0 tok/s 79.6 tok/s(範圍 78.3–84.4) +3.4%
    31,836 input,prefill(3 次) 2,204.3 tok/s 2,125.4 tok/s(範圍 2,124.6–2,174.1) -3.6%
    99,004 input / 256 output,prefill 2,082.1 tok/s 2,155.0 tok/s(範圍 2,116.4–2,170.7) +3.5%
    99,004 input / 256 output,decode 71.4 tok/s 65.8 tok/s(範圍 64.7–67.1) -7.8%

    TTFT / client wall 中位數:短提示 int8 0.550 / 1.789 秒;99K int8 46.043 / 49.915 秒。該 99K 工作負載的三筆 prompt cache 為 0,完整 256 output,沒有排隊。短提示 prefill 為 77.8 tok/s;這是 41-token prompt 的固定延遲結果,不應解讀為長文輸入吞吐。

    124,634 與 249,288-token 抽取都成功找回 6/6 值,prefill/decode 分別為 2,127.9/63.7 與 2,025.5/70.7 tok/s。但兩次都在輸出 70 tokens 後自然 EOS,少於固定測速要求的 101 tokens,因此只列為 recall pass,不納入速度中位數。沒有完整 262,144-token prompt 或 soak。

    判讀: int8 沒有一致的速度優勢。短 prompt decode 小幅增加;99K prefill 增加約 3.5%,但同一工作負載 decode 下降約 7.8%;31.8K prefill 也下降約 3.6%。A/B 後曾暫時恢復 q4_0;依後續部署指示,現役服務現已使用保存的 int8 preset。此次未做精度 A/B,因此不對兩種 KV 格式的回答品質下結論。

    int8 原始逐筆記錄:/home/jaran/.hermes/tmp/strata-5070-int8-20261110/runs_isolated.jsonl;彙總及 q4_0 比值:/home/jaran/.hermes/tmp/strata-5070-int8-20261110/summary_verified.json。後續部署讀回:/health loaded=true、/metrics kv=int8、context262144、/slots idle;真實 API completion 回 INT8_DEPLOYED_OK,finish=stop。


    社區規格對標補測(2026-11-10 21:42–21:43 CST)

    本節為部署驗證完成後,以社區主流 benchmark 設計跑的額外一輪測試,目的是讓數字可以與 llama.cpp / Strata 社區常見格式並排比較。

    測試設計說明

    社區主流做法(llama.cpp llama-bench、Reddit r/LocalLLaMA、Strata 論壇)的共同要素:

    • 分離 PP(prefill)與 TG(decode):兩者瓶頸不同,prefill 偏 compute bound,decode 偏 memory bandwidth bound,不能混用。
    • 多檔位 prompt 長度:通常至少測 128、512、4K token,進階加 32K+,才能看出速度隨 context 的變化趨勢。
    • 固定輸出長度:decode 測試需要足夠多的輸出 token(社區常用 128–256)才能讓 MTP 暖起來、平均掉固定開銷。
    • Warm-up:第一筆視為 warm-up,OS page fault 與動態頻率等異常只影響第一筆。
      • 本節中 warm-up run1 同時也是每組唯一的冷啟動 prefill 樣本;其含啟動固定開銷,會略為低估真實冷速,故各檔位 prefill 有效值視為保守下限(pp_128 的 217.4 tok/s 最明顯)。
    • 至少 3 次取中位數:過濾偶發高低值。
    • Greedy decode + seed 固定:temperature=0、top_k=1、seed=42,確保可重現。
    • 揭露 prompt 內容與 cache 狀態:透明標記 prompt 是否命中 cache,這是本節最重要的發現之一(詳見下方陷阱說明)。

    本次按以上設計安排 7 組測試、每組 3 次,涵蓋 128、512、4K token 檔位,以及最高一組實際 26,751 token(組名 tg_32k_ctx 為約略稱,非滿 32K)的 PP-only(2 token 輸出)與完整 PP+TG(200–256 token 輸出)兩種模式。

    測試環境(與主測試完全相同)

    項目 值
    GPU NVIDIA GeForce RTX 5070,12 GB GDDR7
    模型 qwen3.8-flash-next-iq3_s,Qwen3.8-Flash-Next GSQ-RCO IQ3_S
    Strata engine 0.1.59,CUDA 13
    KV cache int8(本節測試時的現役設定)
    Context 262,144
    MTP 開啟,spec=4,min-p=0.7
    kv-resident 32,768 tokens
    pcie-frac 0.35
    Parallel 1
    Temperature 0
    Top-k 1
    Seed 42
    Reasoning off
    Request prompt cache cache_n=0(關閉單請求快取)

    注意:Strata conversation cache(8,192 MiB,4 slots)在引擎層仍保持啟用;當同一 prompt 在同組內重複送出時,run2/run3 的 KV state 會從 conversation cache 命中,造成 prefill 時間大幅壓縮。這是本次測試揭露的重要方法論陷阱,詳見下方「Conversation Cache 命中問題」節。

    Prompt 內容說明

    組別 Prompt 構成 實際 prompt token 數
    pp_128 / tg_short 隨機英文常用詞(python random.seed(999),約 122 詞) 156
    pp_512 / tg_mid 同上,約 391 詞 480–485
    pp_4096 / tg_long_ctx 同上,約 2,692 詞 3,452–3,464
    tg_32k_ctx 同上,約 20,850 詞 26,751

    Prompt 採純英文常用詞(apple river mountain cloud system network model token… 等約 30 詞隨機抽取),不包含程式碼或推理內容。同一組內所有 run 使用相同 prompt(同一 random seed 固定)。

    逐筆原始資料

    pp_128 — 128 token 等級 Prefill Only(輸出 2 tokens)

    Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s Wall
    1 ⚠ warm-up(冷啟動) 717.7 ms 51.7 ms 217.4 38.7 0.776 s
    2 ⚠ cache 命中(無效) 164.0 ms 42.2 ms 951.2 47.4 0.212 s
    3 ⚠ cache 命中(無效) 174.5 ms 46.7 ms 894.0 42.8 0.227 s

    有效 prefill(冷啟動 run1):217.4 tok/s


    pp_512 — 512 token 等級 Prefill Only(輸出 2 tokens)

    Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s Wall
    1 ⚠ warm-up(冷啟動) 869.4 ms 49.7 ms 557.9 40.2 0.925 s
    2 ⚠ cache 命中(無效) 178.1 ms 55.9 ms 2,723.2 35.8 0.241 s
    3 ⚠ cache 命中(無效) 171.4 ms 46.3 ms 2,829.6 43.2 0.224 s

    有效 prefill(冷啟動 run1):557.9 tok/s


    pp_4096 — 4K token 等級 Prefill Only(輸出 2 tokens)

    Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s Wall
    1 ⚠ warm-up(冷啟動) 2,272.6 ms 50.9 ms 1,519.0 39.3 2.332 s
    2 ⚠ cache 命中(無效) 195.6 ms 45.7 ms 17,648.3 43.8 0.248 s
    3 ⚠ cache 命中(無效) 201.2 ms 48.9 ms 17,157.1 40.9 0.284 s

    有效 prefill(冷啟動 run1):1,519.0 tok/s


    tg_short — 128 token 輸入 / 200 token 輸出

    Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s MTP 接受率 Wall
    1 ⚠ warm-up 718.9 ms 1,975.1 ms 217.0 101.3 0.923 2.700 s
    2 ⚠ cache 命中 178.2 ms 1,899.1 ms 875.4 105.3 0.921 2.084 s
    3 ⚠ cache 命中 178.8 ms 1,908.0 ms 872.5 104.8 0.944 2.092 s

    Decode 有效(cache 不影響 decode)中位:104.8 tok/s
    Prefill 有效(冷啟動 run1):217.0 tok/s


    tg_mid — 512 token 輸入 / 200 token 輸出

    Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s MTP 接受率 Wall
    1 ⚠ warm-up 789.8 ms 1,347.4 ms 607.7 148.4 0.978 2.144 s
    2 ⚠ cache 命中 189.1 ms 1,107.9 ms 2,538.3 180.5 0.978 1.304 s
    3 ⚠ cache 命中 173.4 ms 1,117.3 ms 2,768.2 179.0 0.979 1.298 s

    Decode 有效中位:179.0 tok/s(MTP 接受率 0.978)
    Prefill 有效(冷啟動 run1):607.7 tok/s


    tg_long_ctx — 4K token 輸入 / 256 token 輸出

    Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s MTP 接受率 Wall
    1 ⚠ warm-up 2,284.1 ms 1,341.7 ms 1,516.6 190.8 0.991 3.636 s
    2 ⚠ cache 命中 206.9 ms 1,353.6 ms 16,742.4 189.1 0.987 1.568 s
    3 ⚠ cache 命中 215.2 ms 1,353.0 ms 16,096.7 189.2 0.979 1.576 s

    Decode 有效中位:189.2 tok/s(MTP 接受率 0.987)
    Prefill 有效(冷啟動 run1):1,516.6 tok/s


    tg_32k_ctx — 32K token 等級輸入(實測 26,751)/ 256 token 輸出

    Run 狀態 prompt_ms decode_ms Prefill tok/s Decode tok/s MTP 接受率 Wall
    1 ⚠ warm-up(冷啟動) 12,287.7 ms 1,530.4 ms 2,177.1 167.3 0.936 13.851 s
    2 ⚠ cache 命中(無效) 423.2 ms 1,500.3 ms 63,211.2 170.6 0.940 1.939 s
    3 ⚠ cache 命中(無效) 307.4 ms 1,497.6 ms 87,023.4 170.9 0.936 1.821 s

    Decode 有效中位:170.6 tok/s(MTP 接受率 0.936)
    Prefill 有效(冷啟動 run1):2,177.1 tok/s


    有效速度摘要

    組別 prompt tokens output tokens 有效 Prefill(冷啟動) 有效 Decode 中位 MTP 接受率
    pp_128 156 2 217.4 tok/s — —
    pp_512 485 2 557.9 tok/s — —
    pp_4096 3,452 2 1,519.0 tok/s — —
    tg_short 156 200 217.0 tok/s 104.8 tok/s 0.921–0.944
    tg_mid 480 200 607.7 tok/s 179.0 tok/s 0.978–0.979
    tg_long_ctx 3,464 256 1,516.6 tok/s 189.2 tok/s 0.979–0.991
    tg_32k_ctx 26,751 256 2,177.1 tok/s 170.6 tok/s 0.936–0.940

    Conversation Cache 命中問題(重要方法論說明)

    本次測試每組重複使用同一 prompt(固定 random seed),Strata 的 conversation cache(8,192 MiB、4 slots,常駐啟用)在 run2/run3 命中了上一筆的 KV state,造成 prefill 時間從數秒壓縮到 0.2–0.4 秒,prefill tok/s 膨脹數倍至數十倍,完全不代表真實的冷啟動 prefill 速度。

    組別 warm-up prefill(真實) run2 prefill(cache,無效) 膨脹倍數
    pp_128(156 tok) 217.4 tok/s 951.2 tok/s 4.4×
    pp_512(485 tok) 557.9 tok/s 2,723.2 tok/s 4.9×
    pp_4096(3,452 tok) 1,519.0 tok/s 17,648.3 tok/s 11.6×
    tg_32k(26,751 tok) 2,177.1 tok/s 63,211.2 tok/s 29.0×

    Decode 則不受 conversation cache 影響(KV state 命中只加速 prefill,decode 仍逐 token 計算),因此 decode 中位數有效。

    應對措施:要取得可重現的多次 prefill 中位數,需每次使用不同 prompt 或在送出前主動 evict cache,不能直接重送同一訊息。本節主測試(tmp/strata-5070-int8-20261110/)每組均使用不同 prompt,沒有此問題。

    與主測試數字交叉比對

    比較項目 本節 warm-up run1(冷啟動) 主測試中位(不同 prompt × 3) 判斷
    32K 等級(實測 26,751)prefill 2,177.1 tok/s 2,125.4 tok/s(31,836) ✅ 量級吻合(兩檔位實際 prompt 長度不同:26,751 vs 31,836)
    Short decode(MTP 高接受率) 104.8 tok/s 79.6 tok/s ⚠ 見下方說明

    Short decode 差異(104.8 vs 79.6 tok/s)的原因:本節 prompt 為隨機英文常用詞,MTP 預測接受率高達 0.921–0.944;主測試使用真實任務型 prompt(41 tokens,自然語言問答),MTP 接受率較低,且 short41 組輸出只有 100 個 token(固定開銷佔比大;主測試 99K 組輸出為 256,該因素僅適用於短提示對照)。兩個數字都是真實量測,適用情境不同,不互相矛盾。

    社區規格對標小結

    • Prefill 冷啟動(本次 warm-up run1):128 tok → 217 tok/s;512 tok → 558 tok/s;4K tok → 1,519 tok/s;26.8K tok(實測 26,751)→ 2,177 tok/s。量級與社區 RTX 5070 IQ3_S 報告(Strata 論壇 2,040 tok/s @ 256K context / q4_0 KV)一致。
    • Decode(MTP 接受率 0.92–0.99 下):128 tok prompt → 104.8 tok/s;512 tok → 179 tok/s;4K tok → 189 tok/s;26.8K tok(實測 26,751)→ 171 tok/s。這是 MTP 在隨機詞 prompt 下的理想表現,日常任務型 prompt 的接受率通常低於此,對應到主測試的 65.8–79.6 tok/s 區間。
    • 社區 RTX 5070 IQ3_S 冷 decode 參考:50–70 tok/s(無 MTP 或低 MTP 接受率)至 ~80 tok/s(MTP 開啟,較短 context)。本機在 MTP 高接受率條件下超出此區間,在主測試實際任務條件下(79.6 tok/s)落在社區上緣。(證據分級:有引證讀回的是上游 issue #4603 單筆 78.5 tok/s;「50–70」區間為社群普遍印象值,本次未能直接引證原始出處。)
    1 条回复 最后回复
    1
    • CHIA AN YANGC
      CHIA AN YANGC
      CHIA AN YANG
      王侯将相
      编写于 最后由 CHIA AN YANG 编辑
      #2

      同場加映之前測過的卡

      Qwen3.8 Flash Next 平民卡測速對標(3060 單/雙卡 → 5070 → 7900 XTX)

      日期: 2026-11-11|本檔為持續更新的平民卡實測彙整:單/雙 RTX 3060、RTX 5070,並以旗艦 RX 7900 XTX 作上限參考。同一台主機(Xeon Ice Lake-SP 38C/76T、128 GiB RAM)、同一模型家族(Qwen3.8-Flash-Next 125B MoE),所有數字均為本機引擎實測讀回,非推估。


      1. 部署快照(7900 XTX/5070;3060 雙卡部署見 §2.4)

      項目 RX 7900 XTX(2026-10-30 ~ 11-10 以前) RTX 5070(2026-11-10 現役)
      GPU AMD Radeon RX 7900 XTX 24 GiB(gfx1100,显存带宽 960 GB/s,AMD 官方参考值;本機功耗標稱 355 W 未讀回) NVIDIA RTX 5070 12,227 MiB GDDR7(PCI C3:00.0,本機讀回 power limit 250 W;帶寬官方參考值本輪未引證,不做宣稱)
      引擎 nicejunjie/Strata-rdna3 PR#1(commit 309f0c8),engine 0.1.43,ROCm 10.1,Docker container(rocm/dev-ubuntu-24.04),restart policy no Strata engine 0.1.59 CUDA 13,Strata Terminal 0.2.13.1(Control 0.1.59.1),原生程序(~/.hermes/strata-5070/),非 Docker
      模型 gsq-rco-qwen3.8-flash-next-iq3_s(IQ3_S 兩 shards) Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S(同一權重家族、兩 shards)→ 權重可比
      Context / KV 262,144;fork cache 2 GiB/2 槽 262,144;KV int8、conversation cache 8 GiB/4 槽
      MTP spec 4、spec-min-p 0.5(推定,未逐字讀回) spec 4、spec-min-p 0.7(讀回)
      其他關鍵參數 pool workers 37、hipBLASLt/WMMA 調校路徑、vision on(CPU helper) --kv-resident 32768 --pcie-frac 0.35 --vram-reserve-mib 700、vision off
      主機平台 同一台:Xeon Ice Lake-SP 38C/76T、128 GiB RAM、GIGABYTE MU72-SU0-00(三張卡依序在同一機實測)

      備註: 7900 XTX 走社群 RDNA3 fork(主線對 gfx1100 無增益);5070 走 Strata 官方主線 CUDA,250 W 較省電。兩代測試均為 idle、queue=0、prompt cache 關閉的受控測速。


      2. 速度實測對標

      2.1 同模型 IQ3_S 各檔位(prefill / decode,tok/s)

      檔位 7900 XTX(fork 0.1.43,fresh prompt×1 per 檔,2026-10-30) 5070(int8,2026-11-10) 5070 相對
      ~32K(XTX 32,045 / 5070 31,836・26,751) 3,599.0 / 90.4 prefill 2,125.4(decode 樣本 26.4,2-token 輸出不作 decode 對照);26.8K 補測 2,177.1 / 170.6* prefill ×0.59;decode* ×1.89(條件不同,見 2.3)
      ~64K 3,673.7 / 85.1 未測 —
      ~99K 3,594.7 / 102.3(0.1.45 舊版 1,712.4 / 75.2) 2,155.0 / 65.8 prefill ×0.60;decode ×0.64
      ~128K(XTX 131,056) 3,682.4 / 89.3 未測(124,634 抽取檢查 prefill 2,127.9) prefill ×0.58
      ~256K(XTX 260,002) 3,383.1 / 91.2 249,288 抽取檢查 2,025.5;未跑滿 260,002 prefill ×0.60
      短提示(1,494 對 41/156/480) 短測 prefill 中位 1,025.4;decode 中位 106.75;日常 41~94 tok/s 級 prefill 112.6 short41 decode 中位 79.6;社区檔位冷 prefill 217.4(156)/ 557.9(485) decode ×0.75;短 prefill 因固定開銷口徑不同,不直接對倍

      2.2 端到端真實任務壓測(2026-11-07,7900 XTX fork 現役時)

      任務 Prefill Decode MTP 命中率
      短日常(94 in/150 out) 112.6 96.6 82.9%
      中長(1,330 in/300 out) 1,245.0 97.9 91.7%
      萬字長文(11,671 in/350 out) 2,803.8 100.5 90.4%

      2.3 真實多輪流量旁證(推理引擎 log,實際工作對話)

      卡 實際對話 decode 實際長 prompt prefill
      5070(2026-11-10 真實多輪工作 session,81~87k ctx) 平均 79.0(66.2–91.3),MTP 接受率 ~80% 81,141 tok 冷讀 2,198.7;後續多輪增量讀取 <1s
      7900 XTX(2026-10 期間 0.1.40/0.1.45 log) 52~78(Q4 時期 51~55;IQ3_S 0.1.45 短測 78.7) 120K 檔 1,590(0.1.40 調校後);fork 後 3,383~3,682

      核心判定:7900 XTX 在同一權重下 prefill 約為 5070 的 1.6~1.7 倍(2,125~2,177 vs 3,383~3,682),長上下文 decode 約 1.4~1.6 倍(65.8 vs 102.3 @99K)。5070 沒有在任何同條件檔位贏過 fork 版 7900 XTX。

      2.4 RTX 3060 單卡/雙卡(2026-10-07 部署,平民卡基準線)

      部署 snapshot: 雙 RTX 3060 12GB(總 24GB,PCIe Gen4 x16)、Strata v0.1.40.1 CUDA、模型 mradermacher/Qwen3.8-Flash-Next-Uncensored IQ4_XS(單檔 98.4 GB)、context 262,144、KV int8、kv-resident 32768、pcie-frac 0.20、MTP spec4/min-p0.70、layer-split auto;綁 8081。

      配置(同 119,992-token prompt/128 輸出) Prefill Decode Wall
      雙 RTX 3060(校準後) 1,786.0 44.8 70.6 s
      單 RTX 3060(獨立校準) 997.0 40.4 124.1 s
      雙卡 235,016-token 極限檔 1,747.3(校準後;原設定 1,744.6) 41.8 → 校準後 51.2(IQ4_XS 復測 51.2,MTP 84%) 138.6 s
      雙卡 IQ4_XS 復測(10-07 另報告) 120K:1,774.3/decode 40.3、wall 71.38 s;短 decode 53.7~56.8

      雙卡 vs 單卡(平民卡核心發現): 同 prompt 下雙 3060 prefill +79%(×1.79)、decode 僅 +11%(×1.11)、wall 時間少 43%。原因:MoE 專家按 layer-split 分佈兩卡,prefill 算力近似疊加;decode 受 PCIe/RAM 與 KV 頻寬限制,疊加效益小。單卡 expert-cache slots 2,377(4.57 GiB)。

      ⚠️ Comparability 界線(發文必附):

      1. 3060 數據是 Uncensored IQ4_XS 舊權重、Strata 0.1.40.1、綁 8081,與 5070/7900 XTX 的 GSQ-RCO IQ3_S 非同權重、非同引擎版本、prompt 也非逐字相同,不可作純 GPU 同條件差值。
      2. 有趣的是雙 3060(24GB)120K prefill 1,786 甚至高於 7900 XTX 初代 0.1.40 未調校期(742)與 5070 之外檔位——但那是不同權重(IQ4_XS 單檔 vs IQ3_S shards)與不同 build,僅能作為「2×12GB 平民雙卡的 prefill 性價比參考」,不能寫成「3060 比 7900 XTX 快」。
      3. 3060 時期同機測過 K8V4 KV 格式:235K prefill 1,613 vs int8 1,747,int8 較快。

      3. 差異根因與方法學備註

      1. VRAM 是 5070 的結構性天花板:12 GB 裝不下 125B MoE+256K KV,必須 kv-resident 32768(KV 只駐 32K tokens,其餘走 pcie-frac 0.35)+專家部分下放 RAM;99K decode 只有 65.8、254K 以上無法做速度樣本。7900 XTX 24 GB 原生裝納,256K 檔 decode 仍 91.2、prefill 不崩。
      2. MTP 門檻不同不可忽略:XTX fork 用 min-p 0.5(接受率高但較激進)、5070 用 min-p 0.7(較保守)。但 99K 檔 5070 隨機詞接受率高達 0.94 仍 decode 65.8,XTX 接受率僅 50~65% 卻 decode 102 → 頻寬/原生 KV 優勢壓過 MTP 門檻差異,判定方向不變。
      3. 合成隨機詞 prompt 會灌水 decode 數字:5070 補測的 104.8~189.2 tok/s 是 MTP 對隨機常用詞的高接受率理想值(0.92–0.99),不可與 7900 XTX 真實任務 96~106 直接比;同質(真實任務)對標應以 §2.2 vs §2.1 short41:96.6~100.5 vs 79.6。
      4. 引擎代差反向偏袒 5070:5070 用 0.1.59 新版、XTX 是 0.1.43 fork;即便如此 5070 prefill 仍只有六成 → 差距是硬體帶寬與 VRAM(KV/專家外送),不是版本落後可解釋。
      5. 5070 的相對優勢在運維面:官方主線 CUDA(免社群 fork 維護)、250 W 功耗、conversation cache 讓多輪工作流增量讀取 <1s。

      4. 結論與建議

      • 純速度(prefill 與長上下文 decode):7900 XTX+RDNA3 fork 明顯較快,尤其 99K~256K 長上下文是 12 GB 5070 物理上無法追平的檔位。
      • 平民卡基線(3060 世代):2×12GB 雙 3060 以 layer-split 就能把 125B MoE 跑到 256K context、120K prefill 1,786/decode 40~51(IQ4_XS 舊權重,口徑見 §2.4 界線);單卡 3060 prefill 只剩 ×0.56。平民卡多卡加值主要在 prefill(×1.79)與 VRAM 總量,decode 加分有限(×1.11)——這條規律在 5070(12GB 單卡被 KV/專家外送拖 decode)上也再次成立。
      • 5070 vs 雙 3060(跨世代參考,非同權重):5070 單卡 99K prefill 2,155 明顯高於雙 3060 的 1,786(但權重/引擎不同,僅供「新卡架構紅利」參考,發文需附界線)。
      • 5070 適用情境(數據面):日常中短上下文(<32K)decode 79~91 tok/s,屬平民卡單卡可用區間;超過 100K 檔位因 12GB VRAM 需要 KV/專家外送,速度與可測範圍都明顯受限。
      • 平民卡多卡策略含意:以本機數據看,12GB 級平民卡跑 125B MoE,加卡主要買的是 VRAM 總量與 prefill 吞吐(雙 3060 ×1.79 prefill),decode 提升有限;若目標是長上下文生成速度,大 VRAM 單卡(24GB 級)效益優於雙張 12GB。
      • 未測缺口:64K 與滿 262,144 檔、soak、並發、vision、int8↔q4_0 精度 A/B 未補齊;本報告不對答案品質下結論,僅呈現吞吐量測。

      證據分級: §1/§2.1/§2.3/§2.4 全部來自本機引擎 log 與測速原始檔實體讀回(逐筆 tok/s 已程式重算驗證);§1 中 7900 XTX 帶寬與 355 W 為 AMD 官方參考值(非本機讀回)、5070 帶寬未引證不宣稱。

      1 条回复 最后回复
      1
      • kos orK
        kos orK
        kos or
        至尊皇帝
        编写于 最后由 编辑
        #3

        謝謝分享; RTX 5070 也蠻猛的 decode 79以上, prefill 2000 也很夠用了

        1 条回复 最后回复
        1
        • XiaoteX
          XiaoteX
          Xiaote
          易有太极
          编写于 最后由 编辑
          #4

          ✅ 版主审定:本帖设为优秀,作者 +3 积分奖励,继续加油!

          奖励凭证:优秀 +3 分 · 编号 e2975-218-1

          老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

          1 条回复 最后回复
          1

          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

          有了你的建议,这篇帖子会更精彩哦 💗

          注册 登录
          回复
          • 在新帖中回复
          登录后回复
          • 从旧到新
          • 从新到旧
          • 最多赞同


          • 登录

          • 登录或注册以进行搜索。
          • 第一个帖子
            最后一个帖子
          0
          • 版块
          • 最新
          • 标签
          • 热门
          • 用户
          • 群组