<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[平民卡系列實測 # RTX 5070/12G 跑 Qwen3.8 Flash Next 79.6 tok/s（Strata IQ3_S）KV int8 部署與測速]]></title><description><![CDATA[<h1>RTX 5070 跑 Qwen3.8 Flash Next（Strata IQ3_S）KV int8 部署與測速報告</h1>
<p dir="auto"><strong>測試日期：</strong> 2026-11-10（台灣時間）；原 q4_0 矩陣約 17:22，KV A/B 約 21:04–21:33；社區規格對標補測約 21:42–21:43。<br />
<strong>現役部署：</strong> KV cache <code>int8</code>；持續 preset <code>RTX 5070 IQ3_S 256K int8</code>。<br />
<strong>測試狀態：</strong> int8 吞吐矩陣、endpoint completion、社區規格補測均已完成並讀回；精度 A/B 未完成，本報告不宣稱 int8 與 q4_0 的回答品質差異。</p>
<h2>現役 int8 速度摘要</h2>
<p dir="auto">本機單張 RTX 5070 12GB 執行同一份 <code>Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S</code> 權重。int8 指 KV cache 格式，不是模型權重量化；context 262,144、MTP 開啟、parallel 1。</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>工作負載</th>
<th style="text-align:right">int8 實測</th>
<th>樣本情況</th>
</tr>
</thead>
<tbody>
<tr>
<td>41 input / 100 output，decode</td>
<td style="text-align:right">中位 <strong>79.6 tokens/s</strong>；範圍 78.3–84.4</td>
<td>3 次，有效</td>
</tr>
<tr>
<td>31,836 input，prefill</td>
<td style="text-align:right">中位 <strong>2,125.4 tokens/s</strong>；範圍 2,124.6–2,174.1</td>
<td>3 次，有效</td>
</tr>
<tr>
<td>99,004 input / 256 output，prefill</td>
<td style="text-align:right">中位 <strong>2,155.0 tokens/s</strong>；範圍 2,116.4–2,170.7</td>
<td>3 次，有效</td>
</tr>
<tr>
<td>99,004 input / 256 output，decode</td>
<td style="text-align:right">中位 <strong>65.8 tokens/s</strong>；範圍 64.7–67.1</td>
<td>3 次，有效</td>
</tr>
<tr>
<td>124,634 / 249,288 input，抽取檢查</td>
<td style="text-align:right">prefill/decode 分別 2,127.9/63.7、2,025.5/70.7 tokens/s；兩次 6/6 找回</td>
<td>各 1 次；輸出只到 70 tokens，非固定長度速度樣本</td>
</tr>
</tbody>
</table>
<p dir="auto">與同日 q4_0 矩陣相比，int8 的長提示 prefill 在 99K 略高、31.8K 略低；99K decode 較低。短提示 decode 略高。結果沒有單一格式在每項速度都勝出。99K/256 的完整請求 wall 中位數 int8 49.915 秒、q4_0 51.342 秒，約差 1.4 秒；短提示整體 wall 則 q4_0 較短。</p>
<p dir="auto"><strong>部署決定：</strong> 依店長指示，現役服務與儲存 preset 已切到 KV int8。這是目前部署選擇，不代表本次已證明 int8 回答品質較好。</p>
<h2>測試主機與硬體</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>項目</th>
<th>本機讀回</th>
</tr>
</thead>
<tbody>
<tr>
<td>CPU</td>
<td>Intel Xeon Ice Lake-SP 世代，38 核心 / 76 執行緒，單 socket；Linux 暴露的 CPU 品牌字串為 <code>Genuine Intel(R) CPU 0000%@</code>，無法由本次讀回確認更細的 SKU</td>
</tr>
<tr>
<td>主機板</td>
<td>DMI 讀回 <code>GIGABYTE MU72-SU0-00</code></td>
</tr>
<tr>
<td>系統記憶體</td>
<td>128 GB 級；Ubuntu 可用容量讀回約 125 GiB。測試後快照可用約 59–60 GiB。記憶體速度未取得可驗證讀回值</td>
</tr>
<tr>
<td>推理 GPU</td>
<td>NVIDIA GeForce RTX 5070，12,227 MiB 顯存，PCI <code>0000:C3:00.0</code>，250 W power limit</td>
</tr>
<tr>
<td>顯示 GPU</td>
<td>NVIDIA GeForce RTX 3060，Strata 設為 off；桌面/ComfyUI 留在此卡，不列入推理 GPU</td>
</tr>
<tr>
<td>NVIDIA Driver</td>
<td>595.99.02</td>
</tr>
<tr>
<td>作業系統</td>
<td>Ubuntu 24.04.4 LTS，Linux 7.0.0-42-generic</td>
</tr>
<tr>
<td>系統碟</td>
<td>MSI M450 1TB NVMe（系統根目錄所在裝置）</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>顯卡隔離：</strong> Strata engine 實際啟動參數指定 CUDA GPU 1 為主卡、GPU 0 為 off；程序讀回確認 Strata PID 在 RTX 5070。當次測後 <code>nvidia-smi</code> 顯示 RTX 5070 約 11,324 MiB used，RTX 3060 約 331 MiB used。這是測試後快照，不是整段測速期間的峰值紀錄。</p>
<h2>模型與實際執行設定</h2>
<ul>
<li>模型：<code>qwen3.8-flash-next-iq3_s</code>，Qwen3.8-Flash-Next GSQ-RCO IQ3_S，兩個 GGUF shards。</li>
<li>Strata Terminal：0.2.13.1（Control 0.1.59.1）。</li>
<li>Strata engine：0.1.59，CUDA 13。</li>
<li>Context：262,144；parallel：1；vision：off。</li>
<li>KV：int8；MTP：開啟，<code>--spec 4 --spec-min-p 0.7</code>。</li>
<li>其他引擎參數：<code>--expert-cache auto --prefill auto --vram-reserve-mib 700 --kv-resident 32768 --pcie-frac 0.35</code>。</li>
<li>測試請求：temperature 0、top_k 1、top_p 1、min_p 0、seed 42、reasoning off、prompt cache disabled；每組依下表重複。完整 tokenizer/chat template 用本機 IQ3_S tokenizer 精確計數，並核對 API usage 與 engine prompt count。</li>
</ul>
<p dir="auto"><strong>現役讀回：</strong> saved preset <code>RTX 5070 IQ3_S 256K int8</code>、active runtime JSON <code>/home/jaran/.hermes/strata-5070/state/strata/launch/rtx-5070-iq3_s-256k-int8.json</code> 與 engine process args 均為 <code>--kv int8</code>。舊 q4_0 preset 保留作為 A/B 回退。</p>
<h2>q4_0 歷史速度矩陣（現役 int8 之前）</h2>
<p dir="auto">以下是 int8 部署前的 q4_0 對照基準，並非目前服務設定。Prefill 是處理輸入 prompt 的吞吐；decode 是逐 token 生成速度。速度取自引擎 timing 欄位。</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>工作負載</th>
<th style="text-align:right">重複</th>
<th style="text-align:right">Prefill tokens/s</th>
<th style="text-align:right">Decode tokens/s</th>
<th>TTFT / 總耗時</th>
<th>結果與說明</th>
</tr>
</thead>
<tbody>
<tr>
<td>41 input / 100 output</td>
<td style="text-align:right">3</td>
<td style="text-align:right">平均 105.4；中位 105.0</td>
<td style="text-align:right">平均 78.5；中位 77.0；範圍 76.5–82.1</td>
<td>TTFT 約 0.407–0.416 秒；總耗時約 1.615–1.698 秒</td>
<td>三次有效；短 prompt 速度受固定開銷影響</td>
</tr>
<tr>
<td>31,836 input / 2 output</td>
<td style="text-align:right">3</td>
<td style="text-align:right">平均 2,205.3；中位 2,204.3；範圍 2,193.8–2,217.8</td>
<td style="text-align:right">僅 2 個輸出 token，不拿來估 decode</td>
<td>TTFT 約 14.404–14.561 秒</td>
<td>三次有效；主要用來看長 prompt prefill</td>
</tr>
<tr>
<td>99,004 input / 256 output</td>
<td style="text-align:right">3</td>
<td style="text-align:right">平均 2,088.8；中位 2,082.1；範圍 2,074.7–2,109.5</td>
<td style="text-align:right">平均 71.0；中位 71.4；範圍 69.0–72.6</td>
<td>TTFT 約 47.035–47.833 秒；總耗時約 50.600–51.343 秒</td>
<td>三次有效；cache 0、無排隊或其他 prompt</td>
</tr>
<tr>
<td>124,634 input / 101 output</td>
<td style="text-align:right">1</td>
<td style="text-align:right">2,077.9</td>
<td style="text-align:right">70.4</td>
<td>TTFT 60.099 秒；總耗時 61.514 秒</td>
<td>抽取測試通過，6/6 代碼找回；單次樣本</td>
</tr>
<tr>
<td>249,288 input / 101 output</td>
<td style="text-align:right">1</td>
<td style="text-align:right">1,985.0</td>
<td style="text-align:right">81.1</td>
<td>TTFT 125.803 秒；總耗時 127.032 秒</td>
<td>速度條件乾淨，但 101-token 上限截斷最後一筆代碼；不列為有效抽取結果</td>
</tr>
<tr>
<td>249,288 input / 96 output</td>
<td style="text-align:right">1</td>
<td style="text-align:right">2,008.6</td>
<td style="text-align:right">79.1</td>
<td>TTFT 124.354 秒；總耗時 125.544 秒</td>
<td>JSON 抽取 6/6 通過；輸出長度不同且非原速度矩陣同條件，不當作速度重複樣本</td>
</tr>
</tbody>
</table>
<p dir="auto">速度矩陣採用的 41-token、31,836-token 與 99,004-token 樣本均 <code>cache_n=0</code>、<code>busy_queue_peak=0</code>，engine prompt token 數與 tokenizer/API 實際 prompt 數相符。測試前確認服務 idle；速度矩陣期間暫停 <code>hermes-turns-web/watcher.py</code>，結束後以 SIGCONT 恢復。原始檔記錄完整生成速度與採用條件。</p>
<h2>社區常見測法與本次覆蓋範圍</h2>
<p dir="auto">查到的 Strata/Qwen 社區報告通常會列硬體、模型量化、引擎版本、context/KV/MTP、prompt 長度、輸出 token 數、warm-up/重複次數，並分開列 prefill/decode。可用的比較還會揭露 prompt/chunk 與快取條件，而不是只貼一個單次 tokens/s。</p>
<p dir="auto">本次已有：短提示、約 32K prefill、約 99K 長輸入加長輸出、124K/249K 長上下文，以及分散式檢索正確性。**尚未測：**滿 262,144-token 的完整 prompt、持續數十分鐘 soak、並發/多 slot、MTP 關閉 A/B、vision、不同 KV 格式與不同模型量化。這些不在目前速度數字的宣稱範圍。</p>
<h3>社區參考（不可直接當同條件排名）</h3>
<p dir="auto">Strata 上游一份 RTX 5070 單卡 IQ3_S 社區測試，在 256K context / q4_0 KV 記錄 2,040.7 prefill、78.5 decode tokens/s；其環境是 Windows 11、CUDA 13、另一顆高階 CPU、MTP <code>spec-min-p 0.5</code>、vision 開啟、700-token code prompt，並採 warm-up 後單筆測量。本機 249K 測得約 2,008–2,009 prefill、約 79 decode，量級接近；prompt、MTP threshold、vision、CPU、engine build 與重複數不同，因此只能說結果相近，不能當完全同條件 A/B。</p>
<p dir="auto">Strata 另一份 RTX 5070 Ti IQ3_S 公開測試用 4K/32K prompt、256-token 上限與三次中位數，並公開 OS、driver、CPU、RAM 與變異限制；5070 Ti 不是本機 5070，僅參考其報告格式與測試設計。</p>
<h2>限制</h2>
<ol>
<li>249K 檔位沒有三次同條件速度重複，也沒有送滿完整 262,144 tokens；不要把「支援 256K context」寫成「已量滿 256K prompt 的速度」。</li>
<li>沒有完整記錄測速期間 GPU clock、溫度、功耗與 CPU/RAM 頻寬，也沒有測前 swap baseline；本報告不對散熱或長時間穩態作結論。</li>
<li>41-token prompt 的 prefill 數值主要反映短請求固定成本，不代表長輸入吞吐。</li>
<li>MTP 的 draft acceptance、輸出品質與 tokens/s 會隨 prompt 內容變化；合成輸入的基準不能代表每種真實工作量。</li>
<li>工具呼叫全流程秒數包含模型思考與工具間隔，和引擎 prefill/decode tokens/s 是不同指標。</li>
</ol>
<h2>可重現資料</h2>
<ul>
<li>現役 int8 逐筆速度資料：<code>tmp/strata-5070-int8-20261110/runs_isolated.jsonl</code></li>
<li>現役 int8 彙總與 q4_0 對照：<code>tmp/strata-5070-int8-20261110/summary_verified.json</code></li>
<li>q4_0 歷史基準逐筆資料：<code>tmp/strata-5070-benchmark-20261110/runs_isolated.jsonl</code></li>
<li>驗證彙總：<code>tmp/strata-5070-benchmark-20261110/summary_verified.json</code></li>
<li>測試程式：<code>tmp/strata-5070-benchmark-20261110/benchmark.py</code></li>
<li>2026-11-10 handoff 的速度測試紀錄：<code>handoffs/2026-11-10_handoff.md</code></li>
</ul>
<h2>外部參考</h2>
<ul>
<li>Strata 上游 RTX 5070 + RTX 5060 Ti IQ3_S benchmark（含 RTX 5070 單卡列、參數與限制）：<a href="https://github.com/Niko1221/Strata/issues/4603" rel="nofollow ugc">https://github.com/Niko1221/Strata/issues/4603</a></li>
<li>Strata community RTX 5070 Ti IQ3_S 三次中位數報告：<a href="https://github.com/Guido3D/Strata---Qwen3.8-Flash-Next/tree/main/bench/results/2026-10-06-community-rtx5070ti-5900x" rel="nofollow ugc">https://github.com/Guido3D/Strata---Qwen3.8-Flash-Next/tree/main/bench/results/2026-10-06-community-rtx5070ti-5900x</a></li>
<li>llama.cpp batched-bench 對 prompt processing、generation 與 total speed 的分項定義：<a href="https://github.com/ggml-org/llama.cpp/blob/master/tools/batched-bench/README.md" rel="nofollow ugc">https://github.com/ggml-org/llama.cpp/blob/master/tools/batched-bench/README.md</a></li>
</ul>
<h2>KV int8 / q4_0 單變因 A/B 詳表（2026-11-10）</h2>
<p dir="auto">此處的 int8 指 <strong>KV cache 格式</strong>，模型權重仍是同一份 Qwen3.8-Flash-Next GSQ-RCO IQ3_S。除了 <code>--kv q4_0</code> 改成 <code>--kv int8</code>，其餘採同一 RTX 5070 preset：context 262,144、parallel 1、MTP spec 4 / min-p 0.7、<code>kv-resident=32768</code>、<code>pcie-frac=0.35</code>、reserve 700 MiB、vision off。兩邊都關閉 request prompt cache，temperature 0，reasoning off；採用樣本均 prompt token 數與 engine 計數一致、queue 0。每個固定速度條件各三次。</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>workload</th>
<th style="text-align:right">q4_0 中位</th>
<th style="text-align:right">int8 中位</th>
<th style="text-align:right">變化（int8 對 q4_0）</th>
</tr>
</thead>
<tbody>
<tr>
<td>41 input / 100 output，decode</td>
<td style="text-align:right">77.0 tok/s</td>
<td style="text-align:right">79.6 tok/s（範圍 78.3–84.4）</td>
<td style="text-align:right">+3.4%</td>
</tr>
<tr>
<td>31,836 input，prefill（3 次）</td>
<td style="text-align:right">2,204.3 tok/s</td>
<td style="text-align:right">2,125.4 tok/s（範圍 2,124.6–2,174.1）</td>
<td style="text-align:right">-3.6%</td>
</tr>
<tr>
<td>99,004 input / 256 output，prefill</td>
<td style="text-align:right">2,082.1 tok/s</td>
<td style="text-align:right">2,155.0 tok/s（範圍 2,116.4–2,170.7）</td>
<td style="text-align:right">+3.5%</td>
</tr>
<tr>
<td>99,004 input / 256 output，decode</td>
<td style="text-align:right">71.4 tok/s</td>
<td style="text-align:right">65.8 tok/s（範圍 64.7–67.1）</td>
<td style="text-align:right">-7.8%</td>
</tr>
</tbody>
</table>
<p dir="auto">TTFT / client wall 中位數：短提示 int8 0.550 / 1.789 秒；99K int8 46.043 / 49.915 秒。該 99K 工作負載的三筆 prompt cache 為 0，完整 256 output，沒有排隊。短提示 prefill 為 77.8 tok/s；這是 41-token prompt 的固定延遲結果，不應解讀為長文輸入吞吐。</p>
<p dir="auto">124,634 與 249,288-token 抽取都成功找回 6/6 值，prefill/decode 分別為 2,127.9/63.7 與 2,025.5/70.7 tok/s。但兩次都在輸出 70 tokens 後自然 EOS，少於固定測速要求的 101 tokens，因此只列為 recall pass，不納入速度中位數。沒有完整 262,144-token prompt 或 soak。</p>
<p dir="auto"><strong>判讀：</strong> int8 沒有一致的速度優勢。短 prompt decode 小幅增加；99K prefill 增加約 3.5%，但同一工作負載 decode 下降約 7.8%；31.8K prefill 也下降約 3.6%。A/B 後曾暫時恢復 q4_0；依後續部署指示，現役服務現已使用保存的 int8 preset。此次未做精度 A/B，因此不對兩種 KV 格式的回答品質下結論。</p>
<p dir="auto">int8 原始逐筆記錄：<code>/home/jaran/.hermes/tmp/strata-5070-int8-20261110/runs_isolated.jsonl</code>；彙總及 q4_0 比值：<code>/home/jaran/.hermes/tmp/strata-5070-int8-20261110/summary_verified.json</code>。後續部署讀回：<code>/health loaded=true</code>、<code>/metrics kv=int8</code>、context262144、<code>/slots idle</code>；真實 API completion 回 <code>INT8_DEPLOYED_OK</code>，finish=<code>stop</code>。</p>
<hr />
<h2>社區規格對標補測（2026-11-10 21:42–21:43 CST）</h2>
<p dir="auto">本節為部署驗證完成後，以社區主流 benchmark 設計跑的額外一輪測試，目的是讓數字可以與 llama.cpp / Strata 社區常見格式並排比較。</p>
<h3>測試設計說明</h3>
<p dir="auto">社區主流做法（llama.cpp <code>llama-bench</code>、Reddit r/LocalLLaMA、Strata 論壇）的共同要素：</p>
<ul>
<li><strong>分離 PP（prefill）與 TG（decode）</strong>：兩者瓶頸不同，prefill 偏 compute bound，decode 偏 memory bandwidth bound，不能混用。</li>
<li><strong>多檔位 prompt 長度</strong>：通常至少測 128、512、4K token，進階加 32K+，才能看出速度隨 context 的變化趨勢。</li>
<li><strong>固定輸出長度</strong>：decode 測試需要足夠多的輸出 token（社區常用 128–256）才能讓 MTP 暖起來、平均掉固定開銷。</li>
<li><strong>Warm-up</strong>：第一筆視為 warm-up，OS page fault 與動態頻率等異常只影響第一筆。
<ul>
<li>本節中 warm-up run1 同時也是每組唯一的冷啟動 prefill 樣本；其含啟動固定開銷，會略為低估真實冷速，故各檔位 prefill 有效值視為<strong>保守下限</strong>（pp_128 的 217.4 tok/s 最明顯）。</li>
</ul>
</li>
<li><strong>至少 3 次取中位數</strong>：過濾偶發高低值。</li>
<li><strong>Greedy decode + seed 固定</strong>：temperature=0、top_k=1、seed=42，確保可重現。</li>
<li><strong>揭露 prompt 內容與 cache 狀態</strong>：透明標記 prompt 是否命中 cache，這是本節最重要的發現之一（詳見下方陷阱說明）。</li>
</ul>
<p dir="auto">本次按以上設計安排 7 組測試、每組 3 次，涵蓋 128、512、4K token 檔位，以及最高一組實際 <strong>26,751 token</strong>（組名 <code>tg_32k_ctx</code> 為約略稱，非滿 32K）的 PP-only（2 token 輸出）與完整 PP+TG（200–256 token 輸出）兩種模式。</p>
<h3>測試環境（與主測試完全相同）</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>項目</th>
<th>值</th>
</tr>
</thead>
<tbody>
<tr>
<td>GPU</td>
<td>NVIDIA GeForce RTX 5070，12 GB GDDR7</td>
</tr>
<tr>
<td>模型</td>
<td><code>qwen3.8-flash-next-iq3_s</code>，Qwen3.8-Flash-Next GSQ-RCO IQ3_S</td>
</tr>
<tr>
<td>Strata engine</td>
<td>0.1.59，CUDA 13</td>
</tr>
<tr>
<td>KV cache</td>
<td><strong>int8</strong>（本節測試時的現役設定）</td>
</tr>
<tr>
<td>Context</td>
<td>262,144</td>
</tr>
<tr>
<td>MTP</td>
<td>開啟，spec=4，min-p=0.7</td>
</tr>
<tr>
<td>kv-resident</td>
<td>32,768 tokens</td>
</tr>
<tr>
<td>pcie-frac</td>
<td>0.35</td>
</tr>
<tr>
<td>Parallel</td>
<td>1</td>
</tr>
<tr>
<td>Temperature</td>
<td>0</td>
</tr>
<tr>
<td>Top-k</td>
<td>1</td>
</tr>
<tr>
<td>Seed</td>
<td>42</td>
</tr>
<tr>
<td>Reasoning</td>
<td>off</td>
</tr>
<tr>
<td>Request prompt cache</td>
<td><code>cache_n=0</code>（關閉單請求快取）</td>
</tr>
</tbody>
</table>
<blockquote>
<p dir="auto"><strong>注意</strong>：Strata conversation cache（8,192 MiB，4 slots）在引擎層仍保持啟用；當同一 prompt 在同組內重複送出時，run2/run3 的 KV state 會從 conversation cache 命中，造成 prefill 時間大幅壓縮。這是本次測試揭露的重要方法論陷阱，詳見下方「Conversation Cache 命中問題」節。</p>
</blockquote>
<h3>Prompt 內容說明</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>組別</th>
<th>Prompt 構成</th>
<th style="text-align:right">實際 prompt token 數</th>
</tr>
</thead>
<tbody>
<tr>
<td>pp_128 / tg_short</td>
<td>隨機英文常用詞（python <code>random.seed(999)</code>，約 122 詞）</td>
<td style="text-align:right">156</td>
</tr>
<tr>
<td>pp_512 / tg_mid</td>
<td>同上，約 391 詞</td>
<td style="text-align:right">480–485</td>
</tr>
<tr>
<td>pp_4096 / tg_long_ctx</td>
<td>同上，約 2,692 詞</td>
<td style="text-align:right">3,452–3,464</td>
</tr>
<tr>
<td>tg_32k_ctx</td>
<td>同上，約 20,850 詞</td>
<td style="text-align:right">26,751</td>
</tr>
</tbody>
</table>
<p dir="auto">Prompt 採純英文常用詞（<code>apple river mountain cloud system network model token…</code> 等約 30 詞隨機抽取），不包含程式碼或推理內容。同一組內所有 run 使用<strong>相同 prompt</strong>（同一 random seed 固定）。</p>
<h3>逐筆原始資料</h3>
<h4>pp_128 — 128 token 等級 Prefill Only（輸出 2 tokens）</h4>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:right">Run</th>
<th>狀態</th>
<th style="text-align:right">prompt_ms</th>
<th style="text-align:right">decode_ms</th>
<th style="text-align:right">Prefill tok/s</th>
<th style="text-align:right">Decode tok/s</th>
<th style="text-align:right">Wall</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:right">1</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> warm-up（冷啟動）</td>
<td style="text-align:right">717.7 ms</td>
<td style="text-align:right">51.7 ms</td>
<td style="text-align:right">217.4</td>
<td style="text-align:right">38.7</td>
<td style="text-align:right">0.776 s</td>
</tr>
<tr>
<td style="text-align:right">2</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中（無效）</td>
<td style="text-align:right">164.0 ms</td>
<td style="text-align:right">42.2 ms</td>
<td style="text-align:right">951.2</td>
<td style="text-align:right">47.4</td>
<td style="text-align:right">0.212 s</td>
</tr>
<tr>
<td style="text-align:right">3</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中（無效）</td>
<td style="text-align:right">174.5 ms</td>
<td style="text-align:right">46.7 ms</td>
<td style="text-align:right">894.0</td>
<td style="text-align:right">42.8</td>
<td style="text-align:right">0.227 s</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>有效 prefill（冷啟動 run1）：217.4 tok/s</strong></p>
<hr />
<h4>pp_512 — 512 token 等級 Prefill Only（輸出 2 tokens）</h4>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:right">Run</th>
<th>狀態</th>
<th style="text-align:right">prompt_ms</th>
<th style="text-align:right">decode_ms</th>
<th style="text-align:right">Prefill tok/s</th>
<th style="text-align:right">Decode tok/s</th>
<th style="text-align:right">Wall</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:right">1</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> warm-up（冷啟動）</td>
<td style="text-align:right">869.4 ms</td>
<td style="text-align:right">49.7 ms</td>
<td style="text-align:right">557.9</td>
<td style="text-align:right">40.2</td>
<td style="text-align:right">0.925 s</td>
</tr>
<tr>
<td style="text-align:right">2</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中（無效）</td>
<td style="text-align:right">178.1 ms</td>
<td style="text-align:right">55.9 ms</td>
<td style="text-align:right">2,723.2</td>
<td style="text-align:right">35.8</td>
<td style="text-align:right">0.241 s</td>
</tr>
<tr>
<td style="text-align:right">3</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中（無效）</td>
<td style="text-align:right">171.4 ms</td>
<td style="text-align:right">46.3 ms</td>
<td style="text-align:right">2,829.6</td>
<td style="text-align:right">43.2</td>
<td style="text-align:right">0.224 s</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>有效 prefill（冷啟動 run1）：557.9 tok/s</strong></p>
<hr />
<h4>pp_4096 — 4K token 等級 Prefill Only（輸出 2 tokens）</h4>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:right">Run</th>
<th>狀態</th>
<th style="text-align:right">prompt_ms</th>
<th style="text-align:right">decode_ms</th>
<th style="text-align:right">Prefill tok/s</th>
<th style="text-align:right">Decode tok/s</th>
<th style="text-align:right">Wall</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:right">1</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> warm-up（冷啟動）</td>
<td style="text-align:right">2,272.6 ms</td>
<td style="text-align:right">50.9 ms</td>
<td style="text-align:right">1,519.0</td>
<td style="text-align:right">39.3</td>
<td style="text-align:right">2.332 s</td>
</tr>
<tr>
<td style="text-align:right">2</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中（無效）</td>
<td style="text-align:right">195.6 ms</td>
<td style="text-align:right">45.7 ms</td>
<td style="text-align:right">17,648.3</td>
<td style="text-align:right">43.8</td>
<td style="text-align:right">0.248 s</td>
</tr>
<tr>
<td style="text-align:right">3</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中（無效）</td>
<td style="text-align:right">201.2 ms</td>
<td style="text-align:right">48.9 ms</td>
<td style="text-align:right">17,157.1</td>
<td style="text-align:right">40.9</td>
<td style="text-align:right">0.284 s</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>有效 prefill（冷啟動 run1）：1,519.0 tok/s</strong></p>
<hr />
<h4>tg_short — 128 token 輸入 / 200 token 輸出</h4>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:right">Run</th>
<th>狀態</th>
<th style="text-align:right">prompt_ms</th>
<th style="text-align:right">decode_ms</th>
<th style="text-align:right">Prefill tok/s</th>
<th style="text-align:right">Decode tok/s</th>
<th style="text-align:right">MTP 接受率</th>
<th style="text-align:right">Wall</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:right">1</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> warm-up</td>
<td style="text-align:right">718.9 ms</td>
<td style="text-align:right">1,975.1 ms</td>
<td style="text-align:right">217.0</td>
<td style="text-align:right">101.3</td>
<td style="text-align:right">0.923</td>
<td style="text-align:right">2.700 s</td>
</tr>
<tr>
<td style="text-align:right">2</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中</td>
<td style="text-align:right">178.2 ms</td>
<td style="text-align:right">1,899.1 ms</td>
<td style="text-align:right">875.4</td>
<td style="text-align:right">105.3</td>
<td style="text-align:right">0.921</td>
<td style="text-align:right">2.084 s</td>
</tr>
<tr>
<td style="text-align:right">3</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中</td>
<td style="text-align:right">178.8 ms</td>
<td style="text-align:right">1,908.0 ms</td>
<td style="text-align:right">872.5</td>
<td style="text-align:right">104.8</td>
<td style="text-align:right">0.944</td>
<td style="text-align:right">2.092 s</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>Decode 有效（cache 不影響 decode）中位：104.8 tok/s</strong><br />
<strong>Prefill 有效（冷啟動 run1）：217.0 tok/s</strong></p>
<hr />
<h4>tg_mid — 512 token 輸入 / 200 token 輸出</h4>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:right">Run</th>
<th>狀態</th>
<th style="text-align:right">prompt_ms</th>
<th style="text-align:right">decode_ms</th>
<th style="text-align:right">Prefill tok/s</th>
<th style="text-align:right">Decode tok/s</th>
<th style="text-align:right">MTP 接受率</th>
<th style="text-align:right">Wall</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:right">1</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> warm-up</td>
<td style="text-align:right">789.8 ms</td>
<td style="text-align:right">1,347.4 ms</td>
<td style="text-align:right">607.7</td>
<td style="text-align:right">148.4</td>
<td style="text-align:right">0.978</td>
<td style="text-align:right">2.144 s</td>
</tr>
<tr>
<td style="text-align:right">2</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中</td>
<td style="text-align:right">189.1 ms</td>
<td style="text-align:right">1,107.9 ms</td>
<td style="text-align:right">2,538.3</td>
<td style="text-align:right">180.5</td>
<td style="text-align:right">0.978</td>
<td style="text-align:right">1.304 s</td>
</tr>
<tr>
<td style="text-align:right">3</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中</td>
<td style="text-align:right">173.4 ms</td>
<td style="text-align:right">1,117.3 ms</td>
<td style="text-align:right">2,768.2</td>
<td style="text-align:right">179.0</td>
<td style="text-align:right">0.979</td>
<td style="text-align:right">1.298 s</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>Decode 有效中位：179.0 tok/s（MTP 接受率 0.978）</strong><br />
<strong>Prefill 有效（冷啟動 run1）：607.7 tok/s</strong></p>
<hr />
<h4>tg_long_ctx — 4K token 輸入 / 256 token 輸出</h4>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:right">Run</th>
<th>狀態</th>
<th style="text-align:right">prompt_ms</th>
<th style="text-align:right">decode_ms</th>
<th style="text-align:right">Prefill tok/s</th>
<th style="text-align:right">Decode tok/s</th>
<th style="text-align:right">MTP 接受率</th>
<th style="text-align:right">Wall</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:right">1</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> warm-up</td>
<td style="text-align:right">2,284.1 ms</td>
<td style="text-align:right">1,341.7 ms</td>
<td style="text-align:right">1,516.6</td>
<td style="text-align:right">190.8</td>
<td style="text-align:right">0.991</td>
<td style="text-align:right">3.636 s</td>
</tr>
<tr>
<td style="text-align:right">2</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中</td>
<td style="text-align:right">206.9 ms</td>
<td style="text-align:right">1,353.6 ms</td>
<td style="text-align:right">16,742.4</td>
<td style="text-align:right">189.1</td>
<td style="text-align:right">0.987</td>
<td style="text-align:right">1.568 s</td>
</tr>
<tr>
<td style="text-align:right">3</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中</td>
<td style="text-align:right">215.2 ms</td>
<td style="text-align:right">1,353.0 ms</td>
<td style="text-align:right">16,096.7</td>
<td style="text-align:right">189.2</td>
<td style="text-align:right">0.979</td>
<td style="text-align:right">1.576 s</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>Decode 有效中位：189.2 tok/s（MTP 接受率 0.987）</strong><br />
<strong>Prefill 有效（冷啟動 run1）：1,516.6 tok/s</strong></p>
<hr />
<h4>tg_32k_ctx — 32K token 等級輸入（實測 26,751）/ 256 token 輸出</h4>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:right">Run</th>
<th>狀態</th>
<th style="text-align:right">prompt_ms</th>
<th style="text-align:right">decode_ms</th>
<th style="text-align:right">Prefill tok/s</th>
<th style="text-align:right">Decode tok/s</th>
<th style="text-align:right">MTP 接受率</th>
<th style="text-align:right">Wall</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:right">1</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> warm-up（冷啟動）</td>
<td style="text-align:right">12,287.7 ms</td>
<td style="text-align:right">1,530.4 ms</td>
<td style="text-align:right">2,177.1</td>
<td style="text-align:right">167.3</td>
<td style="text-align:right">0.936</td>
<td style="text-align:right">13.851 s</td>
</tr>
<tr>
<td style="text-align:right">2</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中（無效）</td>
<td style="text-align:right">423.2 ms</td>
<td style="text-align:right">1,500.3 ms</td>
<td style="text-align:right">63,211.2</td>
<td style="text-align:right">170.6</td>
<td style="text-align:right">0.940</td>
<td style="text-align:right">1.939 s</td>
</tr>
<tr>
<td style="text-align:right">3</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> cache 命中（無效）</td>
<td style="text-align:right">307.4 ms</td>
<td style="text-align:right">1,497.6 ms</td>
<td style="text-align:right">87,023.4</td>
<td style="text-align:right">170.9</td>
<td style="text-align:right">0.936</td>
<td style="text-align:right">1.821 s</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>Decode 有效中位：170.6 tok/s（MTP 接受率 0.936）</strong><br />
<strong>Prefill 有效（冷啟動 run1）：2,177.1 tok/s</strong></p>
<hr />
<h3>有效速度摘要</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>組別</th>
<th style="text-align:right">prompt tokens</th>
<th style="text-align:right">output tokens</th>
<th style="text-align:right">有效 Prefill（冷啟動）</th>
<th style="text-align:right">有效 Decode 中位</th>
<th style="text-align:right">MTP 接受率</th>
</tr>
</thead>
<tbody>
<tr>
<td>pp_128</td>
<td style="text-align:right">156</td>
<td style="text-align:right">2</td>
<td style="text-align:right"><strong>217.4 tok/s</strong></td>
<td style="text-align:right">—</td>
<td style="text-align:right">—</td>
</tr>
<tr>
<td>pp_512</td>
<td style="text-align:right">485</td>
<td style="text-align:right">2</td>
<td style="text-align:right"><strong>557.9 tok/s</strong></td>
<td style="text-align:right">—</td>
<td style="text-align:right">—</td>
</tr>
<tr>
<td>pp_4096</td>
<td style="text-align:right">3,452</td>
<td style="text-align:right">2</td>
<td style="text-align:right"><strong>1,519.0 tok/s</strong></td>
<td style="text-align:right">—</td>
<td style="text-align:right">—</td>
</tr>
<tr>
<td>tg_short</td>
<td style="text-align:right">156</td>
<td style="text-align:right">200</td>
<td style="text-align:right">217.0 tok/s</td>
<td style="text-align:right"><strong>104.8 tok/s</strong></td>
<td style="text-align:right">0.921–0.944</td>
</tr>
<tr>
<td>tg_mid</td>
<td style="text-align:right">480</td>
<td style="text-align:right">200</td>
<td style="text-align:right">607.7 tok/s</td>
<td style="text-align:right"><strong>179.0 tok/s</strong></td>
<td style="text-align:right">0.978–0.979</td>
</tr>
<tr>
<td>tg_long_ctx</td>
<td style="text-align:right">3,464</td>
<td style="text-align:right">256</td>
<td style="text-align:right">1,516.6 tok/s</td>
<td style="text-align:right"><strong>189.2 tok/s</strong></td>
<td style="text-align:right">0.979–0.991</td>
</tr>
<tr>
<td>tg_32k_ctx</td>
<td style="text-align:right">26,751</td>
<td style="text-align:right">256</td>
<td style="text-align:right">2,177.1 tok/s</td>
<td style="text-align:right"><strong>170.6 tok/s</strong></td>
<td style="text-align:right">0.936–0.940</td>
</tr>
</tbody>
</table>
<h3>Conversation Cache 命中問題（重要方法論說明）</h3>
<p dir="auto">本次測試每組重複使用同一 prompt（固定 random seed），Strata 的 conversation cache（8,192 MiB、4 slots，常駐啟用）在 run2/run3 命中了上一筆的 KV state，造成 prefill 時間從數秒壓縮到 0.2–0.4 秒，prefill tok/s 膨脹數倍至數十倍，完全不代表真實的冷啟動 prefill 速度。</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>組別</th>
<th style="text-align:right">warm-up prefill（真實）</th>
<th style="text-align:right">run2 prefill（cache，無效）</th>
<th style="text-align:right">膨脹倍數</th>
</tr>
</thead>
<tbody>
<tr>
<td>pp_128（156 tok）</td>
<td style="text-align:right">217.4 tok/s</td>
<td style="text-align:right">951.2 tok/s</td>
<td style="text-align:right">4.4×</td>
</tr>
<tr>
<td>pp_512（485 tok）</td>
<td style="text-align:right">557.9 tok/s</td>
<td style="text-align:right">2,723.2 tok/s</td>
<td style="text-align:right">4.9×</td>
</tr>
<tr>
<td>pp_4096（3,452 tok）</td>
<td style="text-align:right">1,519.0 tok/s</td>
<td style="text-align:right">17,648.3 tok/s</td>
<td style="text-align:right">11.6×</td>
</tr>
<tr>
<td>tg_32k（26,751 tok）</td>
<td style="text-align:right">2,177.1 tok/s</td>
<td style="text-align:right">63,211.2 tok/s</td>
<td style="text-align:right"><strong>29.0×</strong></td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>Decode 則不受 conversation cache 影響</strong>（KV state 命中只加速 prefill，decode 仍逐 token 計算），因此 decode 中位數有效。</p>
<p dir="auto"><strong>應對措施</strong>：要取得可重現的多次 prefill 中位數，需每次使用不同 prompt 或在送出前主動 evict cache，不能直接重送同一訊息。本節主測試（<code>tmp/strata-5070-int8-20261110/</code>）每組均使用不同 prompt，沒有此問題。</p>
<h3>與主測試數字交叉比對</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>比較項目</th>
<th style="text-align:right">本節 warm-up run1（冷啟動）</th>
<th style="text-align:right">主測試中位（不同 prompt × 3）</th>
<th>判斷</th>
</tr>
</thead>
<tbody>
<tr>
<td>32K 等級（實測 26,751）prefill</td>
<td style="text-align:right">2,177.1 tok/s</td>
<td style="text-align:right">2,125.4 tok/s（31,836）</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2705.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--white_check_mark" style="height:1.4em;width:auto;vertical-align:middle" title="✅" alt="✅" /> 量級吻合（兩檔位實際 prompt 長度不同：26,751 vs 31,836）</td>
</tr>
<tr>
<td>Short decode（MTP 高接受率）</td>
<td style="text-align:right">104.8 tok/s</td>
<td style="text-align:right">79.6 tok/s</td>
<td><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" /> 見下方說明</td>
</tr>
</tbody>
</table>
<p dir="auto">Short decode 差異（104.8 vs 79.6 tok/s）的原因：本節 prompt 為隨機英文常用詞，MTP 預測接受率高達 0.921–0.944；主測試使用真實任務型 prompt（41 tokens，自然語言問答），MTP 接受率較低，且 short41 組輸出只有 100 個 token（固定開銷佔比大；主測試 99K 組輸出為 256，該因素僅適用於短提示對照）。<strong>兩個數字都是真實量測，適用情境不同，不互相矛盾。</strong></p>
<h3>社區規格對標小結</h3>
<ul>
<li><strong>Prefill 冷啟動（本次 warm-up run1）</strong>：128 tok → 217 tok/s；512 tok → 558 tok/s；4K tok → 1,519 tok/s；26.8K tok（實測 26,751）→ 2,177 tok/s。量級與社區 RTX 5070 IQ3_S 報告（Strata 論壇 2,040 tok/s @ 256K context / q4_0 KV）一致。</li>
<li><strong>Decode（MTP 接受率 0.92–0.99 下）</strong>：128 tok prompt → <strong>104.8 tok/s</strong>；512 tok → <strong>179 tok/s</strong>；4K tok → <strong>189 tok/s</strong>；26.8K tok（實測 26,751）→ <strong>171 tok/s</strong>。這是 MTP 在隨機詞 prompt 下的理想表現，日常任務型 prompt 的接受率通常低於此，對應到主測試的 65.8–79.6 tok/s 區間。</li>
<li><strong>社區 RTX 5070 IQ3_S 冷 decode 參考</strong>：50–70 tok/s（無 MTP 或低 MTP 接受率）至 ~80 tok/s（MTP 開啟，較短 context）。本機在 MTP 高接受率條件下超出此區間，在主測試實際任務條件下（79.6 tok/s）落在社區上緣。（證據分級：有引證讀回的是上游 issue #4603 單筆 78.5 tok/s；「50–70」區間為社群普遍印象值，本次未能直接引證原始出處。）</li>
</ul>
]]></description><link>https://lcz.me/topic/2975</link><generator>RSS for Node</generator><lastBuildDate>Wed, 18 Nov 2026 22:38:13 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2975.rss" rel="self" type="application/rss+xml"/><pubDate>Tue, 10 Nov 2026 22:24:05 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 平民卡系列實測 # RTX 5070/12G 跑 Qwen3.8 Flash Next 79.6 tok/s（Strata IQ3_S）KV int8 部署與測速 on Wed, 11 Nov 2026 09:03:17 GMT]]></title><description><![CDATA[<p dir="auto"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2705.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--white_check_mark" style="height:1.4em;width:auto;vertical-align:middle" title="✅" alt="✅" /> 版主审定：本帖设为<strong>优秀</strong>，作者 <strong>+3 积分</strong>奖励，继续加油！</p>
<blockquote>
<p dir="auto">奖励凭证：优秀 +3 分 · 编号 e2975-218-1</p>
</blockquote>
]]></description><link>https://lcz.me/post/32586</link><guid isPermaLink="true">https://lcz.me/post/32586</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Wed, 11 Nov 2026 09:03:17 GMT</pubDate></item><item><title><![CDATA[Reply to 平民卡系列實測 # RTX 5070/12G 跑 Qwen3.8 Flash Next 79.6 tok/s（Strata IQ3_S）KV int8 部署與測速 on Tue, 10 Nov 2026 23:22:44 GMT]]></title><description><![CDATA[<p dir="auto">謝謝分享; RTX 5070 也蠻猛的 decode 79以上, prefill 2000 也很夠用了</p>
]]></description><link>https://lcz.me/post/32484</link><guid isPermaLink="true">https://lcz.me/post/32484</guid><dc:creator><![CDATA[kos or]]></dc:creator><pubDate>Tue, 10 Nov 2026 23:22:44 GMT</pubDate></item><item><title><![CDATA[Reply to 平民卡系列實測 # RTX 5070/12G 跑 Qwen3.8 Flash Next 79.6 tok/s（Strata IQ3_S）KV int8 部署與測速 on Tue, 10 Nov 2026 22:55:33 GMT]]></title><description><![CDATA[<p dir="auto">同場加映之前測過的卡</p>
<h1>Qwen3.8 Flash Next 平民卡測速對標（3060 單／雙卡 → 5070 → 7900 XTX）</h1>
<p dir="auto"><strong>日期：</strong> 2026-11-11｜本檔為持續更新的平民卡實測彙整：單／雙 RTX 3060、RTX 5070，並以旗艦 RX 7900 XTX 作上限參考。同一台主機（Xeon Ice Lake-SP 38C/76T、128 GiB RAM）、同一模型家族（Qwen3.8-Flash-Next 125B MoE），所有數字均為本機引擎實測讀回，非推估。</p>
<hr />
<h2>1. 部署快照（7900 XTX／5070；3060 雙卡部署見 §2.4）</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>項目</th>
<th>RX 7900 XTX（2026-10-30 ～ 11-10 以前）</th>
<th>RTX 5070（2026-11-10 現役）</th>
</tr>
</thead>
<tbody>
<tr>
<td>GPU</td>
<td>AMD Radeon RX 7900 XTX 24 GiB（gfx1100，显存带宽 960 GB/s，AMD 官方参考值；本機功耗標稱 355 W 未讀回）</td>
<td>NVIDIA RTX 5070 12,227 MiB GDDR7（PCI C3:00.0，<strong>本機讀回 power limit 250 W</strong>；帶寬官方參考值本輪未引證，不做宣稱）</td>
</tr>
<tr>
<td>引擎</td>
<td><code>nicejunjie/Strata-rdna3</code> PR#1（commit <code>309f0c8</code>），engine 0.1.43，ROCm 10.1，Docker container（rocm/dev-ubuntu-24.04），restart policy <code>no</code></td>
<td>Strata engine 0.1.59 CUDA 13，Strata Terminal 0.2.13.1（Control 0.1.59.1），原生程序（<code>~/.hermes/strata-5070/</code>），非 Docker</td>
</tr>
<tr>
<td>模型</td>
<td><code>gsq-rco-qwen3.8-flash-next-iq3_s</code>（IQ3_S 兩 shards）</td>
<td><code>Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S</code>（同一權重家族、兩 shards）→ <strong>權重可比</strong></td>
</tr>
<tr>
<td>Context / KV</td>
<td>262,144；fork cache 2 GiB／2 槽</td>
<td>262,144；KV <strong>int8</strong>、conversation cache 8 GiB／4 槽</td>
</tr>
<tr>
<td>MTP</td>
<td>spec 4、<strong>spec-min-p 0.5</strong>（推定，未逐字讀回）</td>
<td>spec 4、<strong>spec-min-p 0.7</strong>（讀回）</td>
</tr>
<tr>
<td>其他關鍵參數</td>
<td>pool workers 37、hipBLASLt/WMMA 調校路徑、vision <strong>on</strong>（CPU helper）</td>
<td><code>--kv-resident 32768 --pcie-frac 0.35 --vram-reserve-mib 700</code>、vision <strong>off</strong></td>
</tr>
<tr>
<td>主機平台</td>
<td>同一台：Xeon Ice Lake-SP 38C/76T、128 GiB RAM、GIGABYTE MU72-SU0-00（三張卡依序在同一機實測）</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>備註：</strong> 7900 XTX 走社群 RDNA3 fork（主線對 gfx1100 無增益）；5070 走 Strata 官方主線 CUDA，250 W 較省電。兩代測試均為 idle、queue=0、prompt cache 關閉的受控測速。</p>
<hr />
<h2>2. 速度實測對標</h2>
<h3>2.1 同模型 IQ3_S 各檔位（prefill / decode，tok/s）</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>檔位</th>
<th style="text-align:right">7900 XTX（fork 0.1.43，fresh prompt×1 per 檔，2026-10-30）</th>
<th style="text-align:right">5070（int8，2026-11-10）</th>
<th style="text-align:right">5070 相對</th>
</tr>
</thead>
<tbody>
<tr>
<td>~32K（XTX 32,045 / 5070 31,836・26,751）</td>
<td style="text-align:right">3,599.0 / 90.4</td>
<td style="text-align:right">prefill 2,125.4（decode 樣本 26.4，2-token 輸出不作 decode 對照）；26.8K 補測 2,177.1 / 170.6*</td>
<td style="text-align:right">prefill <strong>×0.59</strong>；decode* <strong>×1.89</strong>（條件不同，見 2.3）</td>
</tr>
<tr>
<td>~64K</td>
<td style="text-align:right">3,673.7 / 85.1</td>
<td style="text-align:right">未測</td>
<td style="text-align:right">—</td>
</tr>
<tr>
<td>~99K</td>
<td style="text-align:right">3,594.7 / 102.3（0.1.45 舊版 1,712.4 / 75.2）</td>
<td style="text-align:right">2,155.0 / 65.8</td>
<td style="text-align:right">prefill <strong>×0.60</strong>；decode <strong>×0.64</strong></td>
</tr>
<tr>
<td>~128K（XTX 131,056）</td>
<td style="text-align:right">3,682.4 / 89.3</td>
<td style="text-align:right">未測（124,634 抽取檢查 prefill 2,127.9）</td>
<td style="text-align:right">prefill <strong>×0.58</strong></td>
</tr>
<tr>
<td>~256K（XTX 260,002）</td>
<td style="text-align:right">3,383.1 / 91.2</td>
<td style="text-align:right">249,288 抽取檢查 2,025.5；未跑滿 260,002</td>
<td style="text-align:right">prefill <strong>×0.60</strong></td>
</tr>
<tr>
<td>短提示（1,494 對 41/156/480）</td>
<td style="text-align:right">短測 prefill 中位 1,025.4；decode 中位 <strong>106.75</strong>；日常 41~94 tok/s 級 prefill 112.6</td>
<td style="text-align:right">short41 decode 中位 <strong>79.6</strong>；社区檔位冷 prefill 217.4（156）/ 557.9（485）</td>
<td style="text-align:right">decode <strong>×0.75</strong>；短 prefill 因固定開銷口徑不同，不直接對倍</td>
</tr>
</tbody>
</table>
<h3>2.2 端到端真實任務壓測（2026-11-07，7900 XTX fork 現役時）</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>任務</th>
<th style="text-align:right">Prefill</th>
<th style="text-align:right">Decode</th>
<th style="text-align:right">MTP 命中率</th>
</tr>
</thead>
<tbody>
<tr>
<td>短日常（94 in/150 out）</td>
<td style="text-align:right">112.6</td>
<td style="text-align:right"><strong>96.6</strong></td>
<td style="text-align:right">82.9%</td>
</tr>
<tr>
<td>中長（1,330 in/300 out）</td>
<td style="text-align:right">1,245.0</td>
<td style="text-align:right"><strong>97.9</strong></td>
<td style="text-align:right">91.7%</td>
</tr>
<tr>
<td>萬字長文（11,671 in/350 out）</td>
<td style="text-align:right">2,803.8</td>
<td style="text-align:right"><strong>100.5</strong></td>
<td style="text-align:right">90.4%</td>
</tr>
</tbody>
</table>
<h3>2.3 真實多輪流量旁證（推理引擎 log，實際工作對話）</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>卡</th>
<th>實際對話 decode</th>
<th>實際長 prompt prefill</th>
</tr>
</thead>
<tbody>
<tr>
<td>5070（2026-11-10 真實多輪工作 session，81~87k ctx）</td>
<td>平均 <strong>79.0</strong>（66.2–91.3），MTP 接受率 ~80%</td>
<td>81,141 tok 冷讀 <strong>2,198.7</strong>；後續多輪增量讀取 &lt;1s</td>
</tr>
<tr>
<td>7900 XTX（2026-10 期間 0.1.40/0.1.45 log）</td>
<td>52～78（Q4 時期 51～55；IQ3_S 0.1.45 短測 78.7）</td>
<td>120K 檔 1,590（0.1.40 調校後）；fork 後 3,383～3,682</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>核心判定：7900 XTX 在同一權重下 prefill 約為 5070 的 1.6～1.7 倍（2,125~2,177 vs 3,383~3,682），長上下文 decode 約 1.4~1.6 倍（65.8 vs 102.3 @99K）。5070 沒有在任何同條件檔位贏過 fork 版 7900 XTX。</strong></p>
<h3>2.4 RTX 3060 單卡／雙卡（2026-10-07 部署，平民卡基準線）</h3>
<p dir="auto"><strong>部署 snapshot：</strong> 雙 RTX 3060 12GB（總 24GB，PCIe Gen4 x16）、Strata v0.1.40.1 CUDA、模型 <code>mradermacher/Qwen3.8-Flash-Next-Uncensored IQ4_XS</code>（單檔 98.4 GB）、context 262,144、KV int8、<code>kv-resident 32768</code>、<code>pcie-frac 0.20</code>、MTP spec4/min-p0.70、layer-split auto；綁 8081。</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>配置（同 119,992-token prompt／128 輸出）</th>
<th style="text-align:right">Prefill</th>
<th style="text-align:right">Decode</th>
<th style="text-align:right">Wall</th>
</tr>
</thead>
<tbody>
<tr>
<td>雙 RTX 3060（校準後）</td>
<td style="text-align:right"><strong>1,786.0</strong></td>
<td style="text-align:right">44.8</td>
<td style="text-align:right">70.6 s</td>
</tr>
<tr>
<td>單 RTX 3060（獨立校準）</td>
<td style="text-align:right"><strong>997.0</strong></td>
<td style="text-align:right">40.4</td>
<td style="text-align:right">124.1 s</td>
</tr>
<tr>
<td>雙卡 235,016-token 極限檔</td>
<td style="text-align:right">1,747.3（校準後；原設定 1,744.6）</td>
<td style="text-align:right">41.8 → 校準後 51.2（IQ4_XS 復測 51.2，MTP 84%）</td>
<td style="text-align:right">138.6 s</td>
</tr>
<tr>
<td>雙卡 IQ4_XS 復測（10-07 另報告）</td>
<td style="text-align:right">120K：1,774.3／decode 40.3、wall 71.38 s；短 decode 53.7~56.8</td>
<td style="text-align:right"></td>
<td style="text-align:right"></td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>雙卡 vs 單卡（平民卡核心發現）：</strong> 同 prompt 下雙 3060 prefill <strong>+79%（×1.79）</strong>、decode 僅 <strong>+11%（×1.11）</strong>、wall 時間少 43%。原因：MoE 專家按 layer-split 分佈兩卡，prefill 算力近似疊加；decode 受 PCIe／RAM 與 KV 頻寬限制，疊加效益小。單卡 expert-cache slots 2,377（4.57 GiB）。</p>
<p dir="auto"><strong><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/26a0.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--warning" style="height:1.4em;width:auto;vertical-align:middle" title="⚠" alt="⚠" />️ Comparability 界線（發文必附）：</strong></p>
<ol>
<li>3060 數據是 <strong>Uncensored IQ4_XS 舊權重</strong>、Strata 0.1.40.1、綁 8081，與 5070／7900 XTX 的 GSQ-RCO IQ3_S <strong>非同權重、非同引擎版本、prompt 也非逐字相同</strong>，不可作純 GPU 同條件差值。</li>
<li>有趣的是雙 3060（24GB）120K prefill 1,786 甚至高於 7900 XTX 初代 0.1.40 未調校期（742）與 5070 之外檔位——但那是<strong>不同權重（IQ4_XS 單檔 vs IQ3_S shards）與不同 build</strong>，僅能作為「2×12GB 平民雙卡的 prefill 性價比參考」，不能寫成「3060 比 7900 XTX 快」。</li>
<li>3060 時期同機測過 K8V4 KV 格式：235K prefill 1,613 vs int8 1,747，int8 較快。</li>
</ol>
<hr />
<h2>3. 差異根因與方法學備註</h2>
<ol>
<li><strong>VRAM 是 5070 的結構性天花板</strong>：12 GB 裝不下 125B MoE＋256K KV，必須 <code>kv-resident 32768</code>（KV 只駐 32K tokens，其餘走 <code>pcie-frac 0.35</code>）＋專家部分下放 RAM；99K decode 只有 65.8、254K 以上無法做速度樣本。7900 XTX 24 GB 原生裝納，256K 檔 decode 仍 91.2、prefill 不崩。</li>
<li><strong>MTP 門檻不同不可忽略</strong>：XTX fork 用 min-p 0.5（接受率高但較激進）、5070 用 min-p 0.7（較保守）。但 99K 檔 5070 隨機詞接受率高達 0.94 仍 decode 65.8，XTX 接受率僅 50~65% 卻 decode 102 → <strong>頻寬/原生 KV 優勢壓過 MTP 門檻差異</strong>，判定方向不變。</li>
<li><strong>合成隨機詞 prompt 會灌水 decode 數字</strong>：5070 補測的 104.8~189.2 tok/s 是 MTP 對隨機常用詞的高接受率理想值（0.92–0.99），不可與 7900 XTX 真實任務 96~106 直接比；同質（真實任務）對標應以 §2.2 vs §2.1 short41：96.6~100.5 vs 79.6。</li>
<li><strong>引擎代差反向偏袒 5070</strong>：5070 用 0.1.59 新版、XTX 是 0.1.43 fork；即便如此 5070 prefill 仍只有六成 → 差距是硬體帶寬與 VRAM（KV／專家外送），不是版本落後可解釋。</li>
<li><strong>5070 的相對優勢在運維面</strong>：官方主線 CUDA（免社群 fork 維護）、250 W 功耗、conversation cache 讓多輪工作流增量讀取 &lt;1s。</li>
</ol>
<hr />
<h2>4. 結論與建議</h2>
<ul>
<li><strong>純速度（prefill 與長上下文 decode）：7900 XTX＋RDNA3 fork 明顯較快</strong>，尤其 99K~256K 長上下文是 12 GB 5070 物理上無法追平的檔位。</li>
<li><strong>平民卡基線（3060 世代）</strong>：2×12GB 雙 3060 以 layer-split 就能把 125B MoE 跑到 256K context、120K prefill 1,786／decode 40~51（IQ4_XS 舊權重，口徑見 §2.4 界線）；單卡 3060 prefill 只剩 ×0.56。<strong>平民卡多卡加值主要在 prefill（×1.79）與 VRAM 總量，decode 加分有限（×1.11）</strong>——這條規律在 5070（12GB 單卡被 KV／專家外送拖 decode）上也再次成立。</li>
<li><strong>5070 vs 雙 3060（跨世代參考，非同權重）</strong>：5070 單卡 99K prefill 2,155 明顯高於雙 3060 的 1,786（但權重/引擎不同，僅供「新卡架構紅利」參考，發文需附界線）。</li>
<li><strong>5070 適用情境（數據面）</strong>：日常中短上下文（&lt;32K）decode 79~91 tok/s，屬平民卡單卡可用區間；超過 100K 檔位因 12GB VRAM 需要 KV／專家外送，速度與可測範圍都明顯受限。</li>
<li><strong>平民卡多卡策略含意</strong>：以本機數據看，12GB 級平民卡跑 125B MoE，<strong>加卡主要買的是 VRAM 總量與 prefill 吞吐</strong>（雙 3060 ×1.79 prefill），decode 提升有限；若目標是長上下文生成速度，大 VRAM 單卡（24GB 級）效益優於雙張 12GB。</li>
<li><strong>未測缺口</strong>：64K 與滿 262,144 檔、soak、並發、vision、int8<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2194.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--left_right_arrow" style="height:1.4em;width:auto;vertical-align:middle" title="↔" alt="↔" />q4_0 精度 A/B 未補齊；本報告不對答案品質下結論，僅呈現吞吐量測。</li>
</ul>
<p dir="auto"><strong>證據分級：</strong> §1／§2.1／§2.3／§2.4 全部來自本機引擎 log 與測速原始檔實體讀回（逐筆 tok/s 已程式重算驗證）；§1 中 7900 XTX 帶寬與 355 W 為 AMD 官方參考值（非本機讀回）、5070 帶寬未引證不宣稱。</p>
]]></description><link>https://lcz.me/post/32483</link><guid isPermaLink="true">https://lcz.me/post/32483</guid><dc:creator><![CDATA[CHIA AN YANG]]></dc:creator><pubDate>Tue, 10 Nov 2026 22:55:33 GMT</pubDate></item></channel></rss>