<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[Qwen3.8-27B方案新王降臨 Capy-Flash v0.6.0 雙 RTX 5070 Ti + WSL2 跑 capy-flash v0.6.0：Qwen3.8-27B NVFP4 開到 256K，解碼 145 t/s]]></title><description><![CDATA[<h1>雙 RTX 5070 Ti + WSL2 跑 capy-flash v0.6.0：Qwen3.8-27B NVFP4 開到 256K，解碼 145 t/s</h1>
<p dir="auto">先講結論：<strong>在沒有 AVX-512 的 5700X3D 上，capy-flash 的 27B dense 路線完全可行</strong>，256K context 開得起來、也用得動，長 context 解碼仍在 145 t/s 上下。以下全部是同機實測，不是引用發佈方數字。</p>
<hr />
<h2>一、測試平台</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>項目</th>
<th>規格</th>
</tr>
</thead>
<tbody>
<tr>
<td>CPU</td>
<td>AMD Ryzen 7 5700X3D（Zen 3，<strong>無 AVX-512</strong>）</td>
</tr>
<tr>
<td>GPU</td>
<td>2 × RTX 5070 Ti 16GB（無 P2P，PCIe 4.0 x8/x8）</td>
</tr>
<tr>
<td>RAM</td>
<td>112GB DDR4-2400（四條混插，JEDEC）</td>
</tr>
<tr>
<td>OS</td>
<td>Windows 11 + WSL2 Ubuntu 24.04</td>
</tr>
<tr>
<td>驅動</td>
<td>617.14</td>
</tr>
<tr>
<td>引擎</td>
<td>capy-flash v0.6.0（release tarball，sm120a）</td>
</tr>
<tr>
<td>模型</td>
<td>Qwen3.8-27B QUASAR-QAT NVFP4（16.2 GiB，含 vision + MTP）</td>
</tr>
</tbody>
</table>
<p dir="auto">之所以特別註明「無 AVX-512」：官方文件寫 Flash-Next NVFP4 需要 AVX-512 做 CPU expert 計算，但 <strong>27B 不需要</strong>——權重完整放在兩張卡上。這點對老平台很關鍵。</p>
<hr />
<h2>二、256K 可以開，而且真的能用</h2>
<pre><code>KV 262,144 tokens, int8 | pages 4096/4096 | runtime 5.03 GiB | 每卡剩 ~172 MiB
</code></pre>
<p dir="auto">深度實測（MTP ×3，thinking off，單請求）：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>提示詞 tokens</th>
<th>Prefill</th>
<th>Decode</th>
<th>草稿接受率</th>
</tr>
</thead>
<tbody>
<tr>
<td>197,783</td>
<td>2,422 t/s</td>
<td>146.5 t/s</td>
<td>93.3%</td>
</tr>
<tr>
<td>213,772</td>
<td>2,319 t/s</td>
<td>150.8 t/s</td>
<td>93.3%</td>
</tr>
<tr>
<td>249,852</td>
<td>2,100 t/s</td>
<td>145.6 t/s</td>
<td>93.3%</td>
</tr>
</tbody>
</table>
<p dir="auto">短至中等深度：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>提示詞 tokens</th>
<th>Decode</th>
</tr>
</thead>
<tbody>
<tr>
<td>772</td>
<td>181.8 t/s</td>
</tr>
<tr>
<td>12,044</td>
<td>156.3 t/s</td>
</tr>
<tr>
<td>48,109</td>
<td>195.5 t/s</td>
</tr>
<tr>
<td>96,198</td>
<td>180.7 t/s</td>
</tr>
<tr>
<td>142,784</td>
<td>209.4 t/s</td>
</tr>
<tr>
<td>155,704</td>
<td>172.4 t/s</td>
</tr>
</tbody>
</table>
<p dir="auto"><img src="https://upload.lcz.me/uploads/fc8732c9-7508-4981-b48f-d56b540e359a.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto">代價：冷的 25 萬 prompt，TTFT 約 <strong>2 分鐘</strong>；每卡只剩 170MB 餘裕，<strong>不能同時跑 ComfyUI / 另一個引擎</strong>。</p>
<hr />
<h2>三、MTP vs DFlash2：短輸出會騙人</h2>
<p dir="auto">同一個 40k 提示詞、各生成 500+ tokens（這才是公平樣本）：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>後端</th>
<th>Decode</th>
<th>接受率</th>
</tr>
</thead>
<tbody>
<tr>
<td><strong>MTP ×3</strong></td>
<td><strong>151.7 t/s</strong></td>
<td>52.3%</td>
</tr>
<tr>
<td>DFlash2 ×7</td>
<td>133.2 t/s</td>
<td>26.2%</td>
</tr>
</tbody>
</table>
<p dir="auto">但如果你只讓它生成 20 個 token，DFlash2 會出現 <strong>314.9 t/s</strong> 的數字——那是短輸出的假象，接受率在長生成時會掉到 26%。<strong>論斷投機解碼一定要用長輸出。</strong></p>
<hr />
<h2>四、實戰 Agent 負載（DSH，114 筆請求）</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>項目</th>
<th>結果</th>
</tr>
</thead>
<tbody>
<tr>
<td>結束原因</td>
<td>114/114 全部正常 <code>stop_token</code>，零截斷</td>
</tr>
<tr>
<td>Decode 中位數</td>
<td><strong>99.7 t/s</strong>（52.7–142.4）</td>
</tr>
<tr>
<td>提示詞深度</td>
<td>最深 ~129K</td>
</tr>
<tr>
<td>Prefix cache</td>
<td>正常命中（單筆 126k tokens 命中）</td>
</tr>
<tr>
<td>工具呼叫</td>
<td>正常（單筆最多 8 個 tool call）</td>
</tr>
<tr>
<td>Vision</td>
<td>通過（四象限色塊全對，編碼 0.044 秒）</td>
</tr>
</tbody>
</table>
<p dir="auto">速度隨深度下滑：60–80K 約 120–140 t/s，90–130K 約 75–95 t/s。</p>
<hr />
<h2>五、三個踩過的坑（照順序踩）</h2>
<h3>1. 內附 libcudart 直接 segfault</h3>
<p dir="auto">用 tarball 內附的 <code>lib/libcudart.so.13</code> 啟動，會在 <code>initializing CUDA</code> 後直接 SIGSEGV，log 沒有其他線索。<br />
<strong>解法</strong>：改用系統 CUDA 13.0 runtime，排在最前面：</p>
<pre><code class="language-bash">export LD_LIBRARY_PATH=/usr/local/cuda-13.0/targets/x86_64-linux/lib:$FFMPEG_LIB
</code></pre>
<h3>2. 缺 FFmpeg 8 共享庫</h3>
<p dir="auto">Ubuntu 24.04 只有 FFmpeg 6，但這個 release 連結 <code>libavformat.so.62</code> / <code>libavcodec.so.62</code> / <code>libswscale.so.9</code> / <code>libavutil.so.60</code>。<br />
<strong>解法</strong>：抓 BtbN 的 <code>ffmpeg-n8.1-latest-linux64-gpl-shared</code>，解到私人目錄後加進 <code>LD_LIBRARY_PATH</code>，不要污染系統套件。</p>
<h3>3. 8 GiB host-KV 鎖定被 OOM 殺</h3>
<p dir="auto"><code>--profile 27b</code> 預設會鎖 8 GiB host KV，在 WSL 的 cgroup 裡被 OOM kill（<code>oom_score_adj: 200</code>）。<br />
<strong>解法</strong>：縮小可選的 host tier：</p>
<pre><code class="language-bash">--host-kv-mib 2048 --host-state-slots 4
</code></pre>
<hr />
<h2>六、256K 下的隱形殺手：KV lease 長不下去</h2>
<p dir="auto">這是這次最有價值的發現。設定 50K 輸出上限時，答案常常在 12K–17K 就自己停住，回報 <code>output_limit</code>，看起來像被截斷。</p>
<p dir="auto">引擎 log 寫得很清楚：</p>
<pre><code>[engine] warning: Device KV lease of lane 0 cannot grow ...
still short 1 main page for its smallest step,
so the answer ends early with output_limit
</code></pre>
<p dir="auto">原因是 256K 的 KV 池先把 VRAM 佔滿，答案變長時要擴 KV 卻擴不出來，只好硬收。<br />
<strong>解法：</strong></p>
<pre><code class="language-bash">--kv-lease-window 0
</code></pre>
<p dir="auto">一開始就把整個輸出空間保留好，不必中途擴張。加上之後 114 筆請求、0 次警告、0 次截斷，速度也沒有下降（改前 133–136 t/s、改後中位 99.7 t/s，差異來自深度與內容而非這個參數）。</p>
<p dir="auto">代價：長提示＋長輸出超過 256K 總量時會<strong>直接拒絕</strong>（<code>context_capacity</code>），而不是默默截斷。</p>
<hr />
<h2>七、關於思考長度</h2>
<p dir="auto">同一顆模型在一般請求的思考中位數只有 <strong>206 tokens</strong>，但遇到難題會單筆吃 <strong>79,458 tokens</strong> 才產出答案。所以：</p>
<ul>
<li>設「思考上限」會硬切推理，<strong>難題正確率有下降風險</strong>（此引擎沒有鬼打牆偵測，無法區分這兩者）；</li>
<li>比較安全的做法是輸出上限留 92K 給長推理，撞上限就人工中止重問。</li>
</ul>
<hr />
<h2>八、幾個誠實的邊界</h2>
<ol>
<li><strong>這不是跟 Strata/Flash-Next 的公平比較。</strong> capy-flash 27B 是 <strong>27B dense</strong>，Flash-Next 是 <strong>125B MoE</strong>；引擎、模型、量化全都不同。</li>
<li><strong>測試機沒有 AVX-512、RAM 是 DDR4-2400</strong>，所以官方在 DDR5-5600 平台上的 175 t/s 不該直接對照；我們在 40k 提示的長生成是 151.7 t/s。</li>
<li><strong>只有一台機器、單一使用者</strong>，<code>--max-concurrency 1</code>，多用戶數字未驗證。</li>
<li><strong>DFlash2 在 27B 這條線沒有想像中強</strong>，至少在英文技術內容上是 MTP 較穩。官方也提過 DFlash2 的接受率對內容極敏感（非英文散文可能掉到 20%）。</li>
<li>26B/27B 以上量化選擇未做同題品質 A/B，本文只有速度與穩定性。</li>
</ol>
<hr />
<h2>九、目前使用的啟動設定</h2>
<pre><code class="language-bash">ninfer-serve &lt;27B-quasar-nvfp4.ninfer&gt; \
  --profile 27b --host 0.0.0.0 --port 8080 --model-id capy-27b \
  --max-context 262144 \
  --kv-lease-window 0 \
  --spec mtp --draft-tokens 3 --lm-head-draft \
  --host-kv-mib 2048 --host-state-slots 4
</code></pre>
<p dir="auto">載入約 40 秒，模型 id 需完全一致（<code>capy-27b</code>），送錯名稱會回 404。</p>
<h2>十、測試結果</h2>
<p dir="auto">three.js水車小屋測試<br />
Prompt：請用three.js建造一個麥塊風格的水車小屋，要有櫻花樹的場景<br />
每個方塊請要有各自的材質，不要用單色的方塊，方塊內容要細緻，場景也盡可能精雕細琢，要有日出日落的變換<br />
水車小屋，河道，水田，牧場，地形高低起伏，櫻花飄落<br />
請把 three.js 完全內嵌進 HTML，做成html單檔</p>
<p dir="auto">一次完成，沒有任何破圖，做出來效果還是相當不錯的</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/da4f02f1-82fe-42f7-90b1-78d6a32581c4.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
]]></description><link>https://lcz.me/topic/2462</link><generator>RSS for Node</generator><lastBuildDate>Fri, 23 Oct 2026 02:00:16 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2462.rss" rel="self" type="application/rss+xml"/><pubDate>Tue, 20 Oct 2026 14:05:00 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to Qwen3.8-27B方案新王降臨 Capy-Flash v0.6.0 雙 RTX 5070 Ti + WSL2 跑 capy-flash v0.6.0：Qwen3.8-27B NVFP4 開到 256K，解碼 145 t/s on Thu, 22 Oct 2026 16:05:02 GMT]]></title><description><![CDATA[<p dir="auto">啥时候有win10的release版本？</p>
]]></description><link>https://lcz.me/post/26801</link><guid isPermaLink="true">https://lcz.me/post/26801</guid><dc:creator><![CDATA[zrlhk]]></dc:creator><pubDate>Thu, 22 Oct 2026 16:05:02 GMT</pubDate></item><item><title><![CDATA[Reply to Qwen3.8-27B方案新王降臨 Capy-Flash v0.6.0 雙 RTX 5070 Ti + WSL2 跑 capy-flash v0.6.0：Qwen3.8-27B NVFP4 開到 256K，解碼 145 t/s on Tue, 20 Oct 2026 16:16:51 GMT]]></title><description><![CDATA[<p dir="auto">众屌丝核实一下，如果效果不错，那过几天Qwen 4.0 27B 出来就好玩了。</p>
]]></description><link>https://lcz.me/post/26283</link><guid isPermaLink="true">https://lcz.me/post/26283</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Tue, 20 Oct 2026 16:16:51 GMT</pubDate></item><item><title><![CDATA[Reply to Qwen3.8-27B方案新王降臨 Capy-Flash v0.6.0 雙 RTX 5070 Ti + WSL2 跑 capy-flash v0.6.0：Qwen3.8-27B NVFP4 開到 256K，解碼 145 t/s on Tue, 20 Oct 2026 14:55:33 GMT]]></title><description><![CDATA[<p dir="auto">27b 还是很有潜力</p>
]]></description><link>https://lcz.me/post/26260</link><guid isPermaLink="true">https://lcz.me/post/26260</guid><dc:creator><![CDATA[imbiplaza ASUS]]></dc:creator><pubDate>Tue, 20 Oct 2026 14:55:33 GMT</pubDate></item><item><title><![CDATA[Reply to Qwen3.8-27B方案新王降臨 Capy-Flash v0.6.0 雙 RTX 5070 Ti + WSL2 跑 capy-flash v0.6.0：Qwen3.8-27B NVFP4 開到 256K，解碼 145 t/s on Tue, 20 Oct 2026 14:39:07 GMT]]></title><description><![CDATA[<p dir="auto">有看到了 有迸發功能 我再試試喔 ！ 感謝大大分享 : )</p>
]]></description><link>https://lcz.me/post/26256</link><guid isPermaLink="true">https://lcz.me/post/26256</guid><dc:creator><![CDATA[kos or]]></dc:creator><pubDate>Tue, 20 Oct 2026 14:39:07 GMT</pubDate></item><item><title><![CDATA[Reply to Qwen3.8-27B方案新王降臨 Capy-Flash v0.6.0 雙 RTX 5070 Ti + WSL2 跑 capy-flash v0.6.0：Qwen3.8-27B NVFP4 開到 256K，解碼 145 t/s on Tue, 20 Oct 2026 14:22:51 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/kos-or" aria-label="Profile: kos-or">@<bdi>kos-or</bdi></a> 我都是個人使用沒有往這個方向測試耶，而且這個方案會把兩張顯卡的效能完全榨出來，基本沒有什麼餘裕了</p>
]]></description><link>https://lcz.me/post/26252</link><guid isPermaLink="true">https://lcz.me/post/26252</guid><dc:creator><![CDATA[MK CHAO]]></dc:creator><pubDate>Tue, 20 Oct 2026 14:22:51 GMT</pubDate></item><item><title><![CDATA[Reply to Qwen3.8-27B方案新王降臨 Capy-Flash v0.6.0 雙 RTX 5070 Ti + WSL2 跑 capy-flash v0.6.0：Qwen3.8-27B NVFP4 開到 256K，解碼 145 t/s on Tue, 20 Oct 2026 14:14:11 GMT]]></title><description><![CDATA[<p dir="auto">有 Prefix cache 讚一個,<br />
不知道能否併發</p>
]]></description><link>https://lcz.me/post/26251</link><guid isPermaLink="true">https://lcz.me/post/26251</guid><dc:creator><![CDATA[kos or]]></dc:creator><pubDate>Tue, 20 Oct 2026 14:14:11 GMT</pubDate></item></channel></rss>