<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB 單卡 + 64GB RAM]]></title><description><![CDATA[<h2>Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB 單卡 + 64GB RAM</h2>
<p dir="auto">**結論：**在這台機器上，Hermes 主力用 <strong>Flash-Next IQ3_XXS</strong>。取樣模式下輸出 <strong>63.2 tok/s</strong>，是三個模型裡最快的，而且是 125B 規模。NVFP4 品質最好，但 64GB RAM 放不下全部 experts，只剩 25.9 tok/s；Qwen3.6-35B-A3B 在取樣模式下不會用 MTP，只有 40.3 tok/s。</p>
<h3>測試環境</h3>
<ul>
<li>GPU：RTX 5060 Ti 16GB（PCIe 實測 14.4 GB/s）</li>
<li>CPU：Ryzen 5 7500F（6 核，AVX-512）</li>
<li>RAM：64GB</li>
<li>系統：Windows，Strata 引擎 0.1.44.1</li>
<li>測試：OpenAI 相容 API，請模型寫約 800 字的繁中文章，<code>max_tokens 1500</code>，<code>reasoning_effort: none</code>；每組跑兩次，取暖機後的第二次</li>
</ul>
<h3>輸出速度</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>模型</th>
<th>解碼模式</th>
<th style="text-align:right">輸出 tok/s</th>
<th style="text-align:right">Draft 接受率</th>
<th>備註</th>
</tr>
</thead>
<tbody>
<tr>
<td><strong>Flash-Next IQ3_XXS</strong></td>
<td>取樣（預設）</td>
<td style="text-align:right"><strong>63.2</strong></td>
<td style="text-align:right">59%</td>
<td>Hermes 實際情況</td>
</tr>
<tr>
<td>Flash-Next IQ3_XXS</td>
<td>greedy</td>
<td style="text-align:right">70.1</td>
<td style="text-align:right">69%</td>
<td>對照用</td>
</tr>
<tr>
<td>Flash-Next NVFP4 GPTQ</td>
<td>取樣（預設）</td>
<td style="text-align:right">25.9</td>
<td style="text-align:right">58%</td>
<td>RAM-budget 模式，部分 experts 從 SSD 讀</td>
</tr>
<tr>
<td>Qwen3.6-35B-A3B Q8_0</td>
<td>取樣（預設）</td>
<td style="text-align:right">40.3</td>
<td style="text-align:right">無 MTP</td>
<td>取樣請求不走 MTP</td>
</tr>
<tr>
<td>Qwen3.6-35B-A3B Q8_0</td>
<td>只設溫度 0</td>
<td style="text-align:right">40.9</td>
<td style="text-align:right">無 MTP</td>
<td>預設 presence_penalty 1.5 仍算取樣</td>
</tr>
<tr>
<td>Qwen3.6-35B-A3B Q8_0</td>
<td>greedy</td>
<td style="text-align:right">48.3</td>
<td style="text-align:right">61%</td>
<td>每層只有 20/256 experts 在 VRAM</td>
</tr>
</tbody>
</table>
<blockquote>
<p dir="auto">「取樣」= 請求不帶取樣參數，由 server 套用 model card 預設值；「greedy」= temperature 0 且所有 penalty 歸零。prompt 只有 7–47 token，prompt 速度沒有參考價值，未列入。</p>
</blockquote>
<h3>各模型重點</h3>
<ul>
<li><strong>IQ3_XXS</strong>：experts 全部常駐 RAM，64GB 可以開 128K context；取樣模式下 MTP 照樣有作用。</li>
<li><strong>NVFP4 GPTQ</strong>：品質最高（與 Q8_0 同 top token 的比例 92.1%），但 experts 就要 68GB，需要約 80GB RAM。64GB 時會改用 RAM-budget 模式，page-lock 失敗；每個 expert 2.76MB，VRAM 只放得下 2632 個。開 vision 的話，CPU encoder 會因為 commit 不足而無法啟動，要改用 <code>--vision no</code>。</li>
<li><strong>Qwen3.6-35B-A3B Q8_0</strong>：走獨立的 q36 引擎，不支援 <code>--calibrate</code>。MTP 只在 greedy 請求時啟用，條件是 temperature 為 0 且所有 penalty 都是預設值。</li>
</ul>
<h3>踩過的坑</h3>
<ul>
<li>config 殘留舊安裝的 MTP 路徑，引擎找不到 <code>dense.txt</code>：重跑 <code>START-HERE.bat --setup --data-dir D:\Strata-data</code>。</li>
<li>setup 沒有關閉預設思考的選項：在 Web UI 的 Sampling 把 Thinking 設為 Off，並開啟「Use for other apps too」，其他 API 用戶端也會一起套用。</li>
<li>PowerShell 5.1 用 <code>curl.exe</code> 送中文會用 cp950 編碼，變成亂碼；<code>Invoke-RestMethod</code> 則會把回應的 UTF-8 當成 ISO-8859-1 解讀。解法是送出時轉成 UTF-8 bytes，收到回應後自行解碼。</li>
</ul>
<h3>結論</h3>
<p dir="auto">64GB RAM 加 16GB VRAM 的配置下，IQ3_XXS 是速度和規模之間最好的平衡。NVFP4 要等 RAM 到 96GB 以上才划算；Qwen3.6 如果要再試，建議改用 UD-Q4_K_XL。</p>
]]></description><link>https://lcz.me/topic/2396</link><generator>RSS for Node</generator><lastBuildDate>Fri, 23 Oct 2026 02:54:01 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2396.rss" rel="self" type="application/rss+xml"/><pubDate>Sun, 18 Oct 2026 02:03:04 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB 單卡 + 64GB RAM on Sun, 18 Oct 2026 09:09:41 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/fe-li" aria-label="Profile: fe-li">@<bdi>fe-li</bdi></a> 我个人觉得可以这样看<br />
27b dense 执行推理基本可以帮你做工<br />
问题是你要给很准确的指令 因为他知识不够多</p>
<p dir="auto">大模型moe 知识量就大很多<br />
但是只驱动部分专家<br />
出来的成绩可能有点飘 比如QFN 只有6b 专家在算<br />
推理能力就不会那么强<br />
只要没见过那类题型/套路 出来的成绩就会比27b 差</p>
]]></description><link>https://lcz.me/post/25754</link><guid isPermaLink="true">https://lcz.me/post/25754</guid><dc:creator><![CDATA[applejuice]]></dc:creator><pubDate>Sun, 18 Oct 2026 09:09:41 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB 單卡 + 64GB RAM on Sun, 18 Oct 2026 07:53:45 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/jlmmmm" aria-label="Profile: jlmmmm">@<bdi>jlmmmm</bdi></a> <a href="/post/25674">说</a>:</p>
<p dir="auto">复合弓射箭 SVG 动画（拉弓-瞄准-放弦-箭矢抛物线-命中特效）<br />
鹈鹕土星环骑自行车 SVG 动画（椭圆轨道、端点不翻车、动作连贯）<br />
MACOS 浏览器内操作系统（单文件 HTML/JS 复刻桌面交互）<br />
3D 赛博朋克风格赛车游戏</p>
</blockquote>
<p dir="auto">有好的作品也可以放出了，这样可以比较一下各种量化版本的差距。</p>
]]></description><link>https://lcz.me/post/25748</link><guid isPermaLink="true">https://lcz.me/post/25748</guid><dc:creator><![CDATA[perter]]></dc:creator><pubDate>Sun, 18 Oct 2026 07:53:45 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB 單卡 + 64GB RAM on Sun, 18 Oct 2026 07:49:32 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/fe-li" aria-label="Profile: fe-li">@<bdi>fe-li</bdi></a><br />
只要你有64G以上内存，非常值得尝试，QFN在网页和建模方面优势巨大。</p>
]]></description><link>https://lcz.me/post/25747</link><guid isPermaLink="true">https://lcz.me/post/25747</guid><dc:creator><![CDATA[perter]]></dc:creator><pubDate>Sun, 18 Oct 2026 07:49:32 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB 單卡 + 64GB RAM on Sun, 18 Oct 2026 07:41:08 GMT]]></title><description><![CDATA[<p dir="auto">比起QWEN 3.8 27B Q3/Q4这个级别有多大优势？速度差不多，我看见NEXT那么大，基本就放弃了，难道值得尝试？</p>
]]></description><link>https://lcz.me/post/25743</link><guid isPermaLink="true">https://lcz.me/post/25743</guid><dc:creator><![CDATA[fe li]]></dc:creator><pubDate>Sun, 18 Oct 2026 07:41:08 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB 單卡 + 64GB RAM on Sun, 18 Oct 2026 07:27:45 GMT]]></title><description><![CDATA[<p dir="auto">感謝通知，來試試看。的確是覺得思考重試次數很多.....</p>
]]></description><link>https://lcz.me/post/25739</link><guid isPermaLink="true">https://lcz.me/post/25739</guid><dc:creator><![CDATA[Titain Huang]]></dc:creator><pubDate>Sun, 18 Oct 2026 07:27:45 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB 單卡 + 64GB RAM on Sun, 18 Oct 2026 02:40:15 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/titain-huang" aria-label="Profile: Titain-Huang">@<bdi>Titain-Huang</bdi></a> <a href="/post/25665">说</a>:</p>
<p dir="auto">64GB RAM 加 16GB VRAM 的配置下，IQ3_XXS 是速度和規模之間最好的平衡。NVFP4 要等 RAM 到 96GB 以上才划算；Qwen3.6 如果要再試，建議改用 UD-Q4_K_XL。</p>
</blockquote>
<p dir="auto">64GB RAM 加 16GB VRAM 推荐用IQ3_S，不能光看decode速度，还要看完成相同任务的总时长。完成相同任务IQ3_XXS 思考重试的次数一般要比IQ3_S多。</p>
]]></description><link>https://lcz.me/post/25675</link><guid isPermaLink="true">https://lcz.me/post/25675</guid><dc:creator><![CDATA[perter]]></dc:creator><pubDate>Sun, 18 Oct 2026 02:40:15 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 本地跑 Qwen3.8-Flash-Next 實測：RTX 5060 Ti 16GB 單卡 + 64GB RAM on Sun, 18 Oct 2026 02:40:33 GMT]]></title><description><![CDATA[<p dir="auto">我跟你的配置一样， 我使用的FLASH-Next IQ3_S<br />
一次性生成任务（都是"一次成型"的硬活）：<br />
复合弓射箭 SVG 动画（拉弓-瞄准-放弦-箭矢抛物线-命中特效）<br />
鹈鹕土星环骑自行车 SVG 动画（椭圆轨道、端点不翻车、动作连贯）<br />
MACOS 浏览器内操作系统（单文件 HTML/JS 复刻桌面交互）<br />
3D 赛博朋克风格赛车游戏</p>
<p dir="auto">平均速度是58token/s<br />
可以试试 FLASH-Next IQ3_S ，上下文 128k</p>
]]></description><link>https://lcz.me/post/25674</link><guid isPermaLink="true">https://lcz.me/post/25674</guid><dc:creator><![CDATA[jlmmmm]]></dc:creator><pubDate>Sun, 18 Oct 2026 02:40:33 GMT</pubDate></item></channel></rss>