<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[單卡3060 12G跑Strata Qwen 3.8 flash next -- IQ2_XS 與 IQ3_XXS 比較]]></title><description><![CDATA[<p dir="auto">本來這台電腦只是隨便插上一張沒在用的顯卡, 想不到也有起飛的一天, 紀錄一下IQ2_XS跟IQ3_XXS的規格差異點.<br />
心得放在前面:<br />
IQ3_XXS整體表現雖然比我的4卡V100 32G的Qwen3.8-Flash-Next-NVFP4略差, 但不會差太遠. 只是併發與上下文長度還是完全無法相比, 但單流使用已經是能用了. 相較之下IQ2_XS就差距比較明顯, 工作表現跌跌撞撞的. 可以的話還是裝IQ3_XXS, 多耗損的資源不多, 但整體水平相差巨大.</p>
<p dir="auto"><strong>硬件資源比較如下:</strong><br />
本報告針對在同一台硬體設備上運行的 <strong>Qwen3.8-Flash-Next</strong> 兩種量化版本——<strong><code>IQ2_XS</code></strong> 與 <strong><code>IQ3_XXS</code></strong>，提供主機硬體環境、架構配置、資源佔用、實測效能與回答品質的客觀對比分析。</p>
<hr />
<h2>1. 測試平台與電腦整體硬體配置 (Hardware Environment)</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:left">硬體組件</th>
<th style="text-align:left">規格型號</th>
<th style="text-align:left">詳細參數與運行狀態</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left"><strong>中央處理器 (CPU)</strong></td>
<td style="text-align:left"><strong>AMD Ryzen 9 9950X 16-Core Processor</strong></td>
<td style="text-align:left">16 核心 / 32 執行緒，完整支援 AVX-512、AVX2 指令集</td>
</tr>
<tr>
<td style="text-align:left"><strong>獨立顯示卡 (GPU)</strong></td>
<td style="text-align:left"><strong>NVIDIA GeForce RTX 3060 12GB</strong></td>
<td style="text-align:left">12,288 MiB GDDR6，Compute Capability 8.6 (Ampere 架構)</td>
</tr>
<tr>
<td style="text-align:left"><strong>匯流排介面 (PCIe)</strong></td>
<td style="text-align:left"><strong>PCIe 4.0 x16</strong></td>
<td style="text-align:left">實測 Host-to-Device DMA 傳輸頻寬高達 <strong>26.8 GB/s</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>系統主記憶體 (RAM)</strong></td>
<td style="text-align:left"><strong>64 GB</strong> (系統實體識別 62 GiB)</td>
<td style="text-align:left">交換空間 (Swap) 配置為 8.0 GiB</td>
</tr>
<tr>
<td style="text-align:left"><strong>資料儲存空間 (Storage)</strong></td>
<td style="text-align:left"><strong>11 TB LVM 磁區 (<code>/opt</code>)</strong></td>
<td style="text-align:left">掛載於 <code>/dev/mapper/vg_storage-lv_data</code>，可用餘量約 <strong>9.0 TB</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>作業系統 (OS)</strong></td>
<td style="text-align:left"><strong>Linux 6.17.0-35-generic x86_64</strong></td>
<td style="text-align:left">標準 Linux 64-bit 運行環境</td>
</tr>
<tr>
<td style="text-align:left"><strong>顯示卡驅動 / CUDA</strong></td>
<td style="text-align:left"><strong>NVIDIA Driver: 590.48.01</strong></td>
<td style="text-align:left">CUDA Version: 13.1</td>
</tr>
<tr>
<td style="text-align:left"><strong>推論引擎 (Engine)</strong></td>
<td style="text-align:left"><strong>Strata v0.1.39</strong> (<code>commit 6f32ec07</code>)</td>
<td style="text-align:left">官方預建 (Ready-Made) CUDA 13 / RTX 30 系列二進制引擎</td>
</tr>
</tbody>
</table>
<hr />
<h2>2. 核心規格與配置對比</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:left">比較維度</th>
<th style="text-align:left">IQ2_XS (2-bit i-quant)</th>
<th style="text-align:left">IQ3_XXS (3-bit i-quant)</th>
<th style="text-align:left">差異說明</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left"><strong>模型 Shard 1 大小</strong></td>
<td style="text-align:left">~37 GB</td>
<td style="text-align:left">~44 GB</td>
<td style="text-align:left">IQ3_XXS 增加約 7 GB 專家量化權重</td>
</tr>
<tr>
<td style="text-align:left"><strong>模型 Shard 2 大小</strong></td>
<td style="text-align:left">~27 GB</td>
<td style="text-align:left">~27 GB</td>
<td style="text-align:left">共用完全相同的 PLE n-gram 查表檔案</td>
</tr>
<tr>
<td style="text-align:left"><strong>總下載檔案大小</strong></td>
<td style="text-align:left">~68 GB</td>
<td style="text-align:left">~76 GB</td>
<td style="text-align:left">IQ3_XXS 總體積稍大約 11.7%</td>
</tr>
<tr>
<td style="text-align:left"><strong>目標 Context 長度</strong></td>
<td style="text-align:left"><strong>262,144 tokens (256K)</strong></td>
<td style="text-align:left"><strong>262,144 tokens (256K)</strong></td>
<td style="text-align:left"><strong>完全相同</strong>，皆為完整原生 256K</td>
</tr>
<tr>
<td style="text-align:left"><strong>KV Cache 精準度</strong></td>
<td style="text-align:left"><code>INT8</code> (KV Streaming)</td>
<td style="text-align:left"><code>INT8</code> (KV Streaming)</td>
<td style="text-align:left"><strong>完全相同</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>KV Resident 顯存駐留</strong></td>
<td style="text-align:left">32,768 cells / QSA layer</td>
<td style="text-align:left">32,768 cells / QSA layer</td>
<td style="text-align:left"><strong>完全相同</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>KV Cache RAM 容量</strong></td>
<td style="text-align:left">3.09 GiB (Pinned RAM)</td>
<td style="text-align:left">3.09 GiB (Pinned RAM)</td>
<td style="text-align:left"><strong>完全相同</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>預設 Temperature</strong></td>
<td style="text-align:left"><code>0.4</code></td>
<td style="text-align:left"><code>0.4</code></td>
<td style="text-align:left"><strong>完全相同</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>投機解碼 (MTP)</strong></td>
<td style="text-align:left">4 tokens (<code>--spec 4</code>)</td>
<td style="text-align:left">4 tokens (<code>--spec 4</code>)</td>
<td style="text-align:left">兩者皆掛載 835 MiB Draft Head</td>
</tr>
</tbody>
</table>
<hr />
<h2>3. 記憶體與硬體資源佔用對比</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:left">資源項目</th>
<th style="text-align:left">IQ2_XS</th>
<th style="text-align:left">IQ3_XXS</th>
<th style="text-align:left">說明與影響</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left"><strong>Expert Arena (Pinned RAM)</strong></td>
<td style="text-align:left"><strong>~35.5 GB</strong></td>
<td style="text-align:left"><strong>~40.9 GB</strong></td>
<td style="text-align:left">IQ3 需多鎖定約 5.4 GB 實體記憶體</td>
</tr>
<tr>
<td style="text-align:left"><strong>Strata Process 總 RSS</strong></td>
<td style="text-align:left">約 38 ~ 40 GB</td>
<td style="text-align:left">約 46 ~ 47.4 GB</td>
<td style="text-align:left">包含權重、KV Cache、運算 Buffer</td>
</tr>
<tr>
<td style="text-align:left"><strong>模型 Idle 時系統總 RAM 使用</strong></td>
<td style="text-align:left"><strong>~42 GiB</strong> / 62 GiB</td>
<td style="text-align:left"><strong>~50 GiB</strong> / 62 GiB</td>
<td style="text-align:left">IQ3 系統佔用率由 67% 升至 80%</td>
</tr>
<tr>
<td style="text-align:left"><strong>系統剩餘可用 RAM (MemAvailable)</strong></td>
<td style="text-align:left"><strong>約 19 ~ 20 GiB</strong></td>
<td style="text-align:left"><strong>約 12 GiB</strong></td>
<td style="text-align:left">IQ2_XS 能為背景程式留下更多記憶體餘裕</td>
</tr>
<tr>
<td style="text-align:left"><strong>GPU VRAM 總佔用</strong></td>
<td style="text-align:left"><strong>~11.50 GiB</strong> / 12 GiB</td>
<td style="text-align:left"><strong>~11.58 GiB</strong> / 12 GiB</td>
<td style="text-align:left">兩者皆高度利用 RTX 3060 顯存</td>
</tr>
<tr>
<td style="text-align:left"><strong>VRAM 專家快取容量</strong></td>
<td style="text-align:left"><strong>4,119 個 slots (~5.53 GiB)</strong></td>
<td style="text-align:left"><strong>3,030 個 slots (~5.07 GiB)</strong></td>
<td style="text-align:left">IQ3 投影矩陣權重略大，GPU 快取專家數少約 26%</td>
</tr>
<tr>
<td style="text-align:left"><strong>VRAM 安全緩衝餘裕</strong></td>
<td style="text-align:left">474 MiB</td>
<td style="text-align:left">459 MiB</td>
<td style="text-align:left">均保持安全裕度避免 CUDA OOM</td>
</tr>
</tbody>
</table>
<hr />
<h2>4. 推論速度與實測基準對比 (Benchmarks)</h2>
<p dir="auto">以下數據皆基於同一平台實際 API 呼叫實測所得：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:left">效能指標</th>
<th style="text-align:left">IQ2_XS</th>
<th style="text-align:left">IQ3_XXS</th>
<th style="text-align:left">效能差異評估</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left"><strong>短文本解碼生成速度 (Decode)</strong></td>
<td style="text-align:left"><strong>54.3 tokens/s</strong></td>
<td style="text-align:left"><strong>46.3 tokens/s</strong></td>
<td style="text-align:left">IQ2_XS 速度快約 <strong>17%</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>長文本解碼生成速度 (35K+ Context)</strong></td>
<td style="text-align:left"><strong>49.5 tokens/s</strong></td>
<td style="text-align:left"><strong>44.9 tokens/s</strong></td>
<td style="text-align:left">IQ2_XS 速度快約 <strong>10%</strong></td>
</tr>
<tr>
<td style="text-align:left"><strong>長文本 Prefill 處理速度 (35K Context)</strong></td>
<td style="text-align:left"><strong>1,062.1 tokens/s</strong></td>
<td style="text-align:left"><strong>1,073.3 tokens/s</strong></td>
<td style="text-align:left">兩者 Prefill 速度相當（~1,070 tok/s）</td>
</tr>
<tr>
<td style="text-align:left"><strong>長文本 35K Tokens Prefill 總耗時</strong></td>
<td style="text-align:left">33.0 秒</td>
<td style="text-align:left">32.6 秒</td>
<td style="text-align:left">處理 3.5 萬 token 均在約半分鐘完成</td>
</tr>
<tr>
<td style="text-align:left"><strong>投機解碼 (MTP Draft) 接受率</strong></td>
<td style="text-align:left">~75% - 85%</td>
<td style="text-align:left">~80% - 100%</td>
<td style="text-align:left">IQ3 因品質提升，草稿預測接受率略高</td>
</tr>
<tr>
<td style="text-align:left"><strong>Prompt Cache 命中率</strong></td>
<td style="text-align:left">95.7% (實測)</td>
<td style="text-align:left">相同機制 (即時命中)</td>
<td style="text-align:left">多輪對話皆可跳過重複 Prompt 運算</td>
</tr>
</tbody>
</table>
<hr />
<h2>5. 模型品質與推理能力分析</h2>
<ul>
<li><strong><code>IQ2_XS</code>（~2.3-bit i-quant）</strong>：
<ul>
<li><strong>特點</strong>：在低位元量化中屬於高性價比方案，大幅降低 RAM 佔用並提高生成吞吐量。</li>
<li><strong>品質表現</strong>：處理一般摘要、對話、簡單邏輯或常規文字產出表現良好；但在極複雜的長鏈條邏輯推理、多重條件邊界處理、精準格式輸出（如高難度 JSON/語法樹解析）時，細節偶有語義衰減或幻覺。</li>
</ul>
</li>
<li><strong><code>IQ3_XXS</code>（~3.0-bit i-quant）</strong>：
<ul>
<li><strong>特點</strong>：官方評為 <strong>"Great Quality"</strong>，每個權重多出約 30% 的位元精確度。</li>
<li><strong>品質表現</strong>：邏輯嚴密性、長程推理能力與指令遵循能力有顯著提升，數理推理與複雜程式碼生成更貼近未量化的原始基準模型，大幅減少因過度量化導致的邏輯跳躍。</li>
</ul>
</li>
</ul>
<hr />
<h2>6. 優缺點摘要與選用建議</h2>
<h3>方案 A：選擇 <code>IQ2_XS</code></h3>
<ul>
<li><strong>優勢</strong>：
<ul>
<li>推論速度最快（生成可達 55~70 tok/s）。</li>
<li>記憶體佔用較少，系統留有約 <strong>20 GiB 可用 RAM</strong>，系統餘裕最充沛。</li>
<li>GPU 快取的專家數較多（4,119 個），PCIe 傳輸負擔較小。</li>
</ul>
</li>
<li><strong>適用情境</strong>：
<ul>
<li>追求極致即時回應速度、高併發吞吐量。</li>
<li>電腦同時有其他高記憶體消耗程式在背景長時間運作。</li>
</ul>
</li>
</ul>
<h3>方案 B：選擇 <code>IQ3_XXS</code>（目前上線版本）</h3>
<ul>
<li><strong>優勢</strong>：
<ul>
<li>智商與邏輯能力明顯提高，長文本推理與複雜任務品質更佳。</li>
<li>依然維持 45~50 tok/s 的流暢生成速度。</li>
<li>完整保留 256K context 與 INT8 KV 快取。</li>
</ul>
</li>
<li><strong>代價</strong>：
<ul>
<li>系統 RAM 佔用增加至 ~50 GiB，可用 RAM 降至約 <strong>12 GiB</strong>。</li>
<li>生成速度相較 IQ2 略降約 15% 左右。</li>
</ul>
</li>
<li><strong>適用情境</strong>：
<ul>
<li>對回答精確度、深度推理、程式碼嚴謹度有較高要求的場景。</li>
</ul>
</li>
</ul>
<hr />
]]></description><link>https://lcz.me/topic/2192</link><generator>RSS for Node</generator><lastBuildDate>Mon, 12 Oct 2026 12:24:19 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2192.rss" rel="self" type="application/rss+xml"/><pubDate>Thu, 08 Oct 2026 12:39:58 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 單卡3060 12G跑Strata Qwen 3.8 flash next -- IQ2_XS 與 IQ3_XXS 比較 on Fri, 09 Oct 2026 01:13:39 GMT]]></title><description><![CDATA[<p dir="auto">3060上能跑出这个成绩，我觉得可以释放我的3090去玩H3了</p>
]]></description><link>https://lcz.me/post/23384</link><guid isPermaLink="true">https://lcz.me/post/23384</guid><dc:creator><![CDATA[joker_chang]]></dc:creator><pubDate>Fri, 09 Oct 2026 01:13:39 GMT</pubDate></item><item><title><![CDATA[Reply to 單卡3060 12G跑Strata Qwen 3.8 flash next -- IQ2_XS 與 IQ3_XXS 比較 on Thu, 08 Oct 2026 16:54:04 GMT]]></title><description><![CDATA[<p dir="auto"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2b50.png?v=fe25256ab4a" class="not-responsive emoji emoji-android emoji--star" style="height:1.4em;width:auto;vertical-align:middle" title="⭐" alt="⭐" /> 版主审定：本帖设为<strong>精华</strong>，作者 <strong>+5 积分</strong>奖励，希望再接再厉！</p>
<blockquote>
<p dir="auto">奖励凭证：精华 +5 分 · 编号 f2192-988-1（系统自动发放，显示稍有延迟）</p>
</blockquote>
]]></description><link>https://lcz.me/post/23349</link><guid isPermaLink="true">https://lcz.me/post/23349</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Thu, 08 Oct 2026 16:54:04 GMT</pubDate></item><item><title><![CDATA[Reply to 單卡3060 12G跑Strata Qwen 3.8 flash next -- IQ2_XS 與 IQ3_XXS 比較 on Thu, 08 Oct 2026 16:52:24 GMT]]></title><description><![CDATA[<p dir="auto">对开拓边界的帖子予以加精，非常不错的尝试。</p>
]]></description><link>https://lcz.me/post/23348</link><guid isPermaLink="true">https://lcz.me/post/23348</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Thu, 08 Oct 2026 16:52:24 GMT</pubDate></item><item><title><![CDATA[Reply to 單卡3060 12G跑Strata Qwen 3.8 flash next -- IQ2_XS 與 IQ3_XXS 比較 on Thu, 08 Oct 2026 14:00:50 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/perter" aria-label="Profile: perter">@<bdi>perter</bdi></a> 那卡貴上3倍不只吧.. 還是3060廢物利用一下好了</p>
]]></description><link>https://lcz.me/post/23306</link><guid isPermaLink="true">https://lcz.me/post/23306</guid><dc:creator><![CDATA[soop ladios]]></dc:creator><pubDate>Thu, 08 Oct 2026 14:00:50 GMT</pubDate></item><item><title><![CDATA[Reply to 單卡3060 12G跑Strata Qwen 3.8 flash next -- IQ2_XS 與 IQ3_XXS 比較 on Thu, 08 Oct 2026 14:00:08 GMT]]></title><description><![CDATA[<p dir="auto">3060 12G还是能打的，抗噪</p>
]]></description><link>https://lcz.me/post/23305</link><guid isPermaLink="true">https://lcz.me/post/23305</guid><dc:creator><![CDATA[懒人烘培]]></dc:creator><pubDate>Thu, 08 Oct 2026 14:00:08 GMT</pubDate></item><item><title><![CDATA[Reply to 單卡3060 12G跑Strata Qwen 3.8 flash next -- IQ2_XS 與 IQ3_XXS 比較 on Thu, 08 Oct 2026 13:34:47 GMT]]></title><description><![CDATA[<p dir="auto">单卡3060这个成绩相当能打了，应该是CPU完整支援 AVX-512的原因，如果换一块5070ti应该轻松突破100tok/s。</p>
]]></description><link>https://lcz.me/post/23296</link><guid isPermaLink="true">https://lcz.me/post/23296</guid><dc:creator><![CDATA[perter]]></dc:creator><pubDate>Thu, 08 Oct 2026 13:34:47 GMT</pubDate></item></channel></rss>