<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[32G内存不能打？本帖会让你惊掉下巴！]]></title><description><![CDATA[<p dir="auto">两台机器 Strata 长上下文实测：7900 XTX + 256GB（IQ3_S）对比 RTX 3080 20GB + 32GB（TQ2_0 + gyro pack）。一个是 AMD GPU decode、一个是 NVIDIA GPU decode，内存差 8 倍。</p>
<h2>硬件 / 软件环境</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项目</th>
<th>A：7900 XTX</th>
<th>B：RTX 3080</th>
</tr>
</thead>
<tbody>
<tr>
<td>CPU</td>
<td>双路 Intel Xeon E5-2696 v3 @ 2.30GHz，每颗18核，共36核72线程，Haswell AVX2</td>
<td>Intel Core Ultra 7 270K Plus，8P+16E共24核24线程（无超线程），最大睿频5.5GHz</td>
</tr>
<tr>
<td>GPU</td>
<td>AMD RX 7900 XTX，24GB，gfx1100</td>
<td>NVIDIA RTX 3080，20GB（魔改），sm_86</td>
</tr>
<tr>
<td>内存</td>
<td>256GB DDR3 ECC（8×32GB，1866 MT/s），系统识别约251GiB；专家常驻约46.84GiB page-locked</td>
<td>2×16GB DDR5 6000；常驻后约30GiB在用，贴着上限跑</td>
</tr>
<tr>
<td>模型存储</td>
<td>PCIe SSD 953.9GB</td>
<td>PCIe SSD 953.9GB</td>
</tr>
<tr>
<td>系统</td>
<td>Ubuntu 24.04.4 LTS，Linux 6.8.0-149</td>
<td>Ubuntu 24.04.4 LTS，Linux 6.8.0-149</td>
</tr>
<tr>
<td>GPU栈</td>
<td>ROCm（pip SDK），HSA_OVERRIDE_GFX_VERSION=11.0.0，hipBLASLt调优表 gfx1100-100200</td>
<td>CUDA 13，驱动595.99.02；引擎实测PCIe 25.4 GB/s</td>
</tr>
<tr>
<td>推理后端</td>
<td>Strata RDNA3 fork（自编译）</td>
<td>Strata 0.1.60 cuda13构建</td>
</tr>
<tr>
<td>GPU队列</td>
<td>GPU_MAX_HW_QUEUES=6</td>
<td>默认</td>
</tr>
</tbody>
</table>
<h2>文件体积与速度总表</h2>
<p dir="auto">PP = prefill，TG = decode，速度单位均为 tokens/s；每格按 <strong>PP / TG</strong> 排列。GB按10⁹字节。</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>配置</th>
<th>模型 GB</th>
<th>pack + MTP GB</th>
<th>合计 GB</th>
<th>4K PP/TG</th>
<th>16K PP/TG</th>
<th>32K PP/TG</th>
<th>64K PP/TG</th>
<th>128K PP/TG</th>
</tr>
</thead>
<tbody>
<tr>
<td>A：IQ3_S（GSQ-RCO）+ iq3_s pack，7900 XTX</td>
<td>83.62（2分片，含IQ4_NL PLE表28.80）</td>
<td>1.55 + 0.82</td>
<td>86.00</td>
<td>690 / 116.2</td>
<td>2268 / 112.6</td>
<td>2959 / 108.2</td>
<td>2480 / 115.5</td>
<td>2905 / 119.2</td>
</tr>
<tr>
<td>B：TQ2_0 + gyro-gyro-m pack，3080 20GB</td>
<td>91.97（含包内PLE表）</td>
<td>33.58 + 0.82</td>
<td>126.37</td>
<td>2011 / 98.9</td>
<td>2375 / 98.7</td>
<td>2478 / 96.4</td>
<td>2449 / 101.0</td>
<td>2355 / 87.3</td>
</tr>
</tbody>
</table>
<p dir="auto">两行速度均为<strong>冷启动新输入</strong>（prompt cache reused=0）口径，同档位可比。</p>
<p dir="auto">体积口径：模型 GB 为 GGUF 分片之和（含包内 N-gram/PLE 表）；pack 为 APR 包，MTP 为 rt 格式 draft。合计为磁盘文件之和，不等于 RAM 占用。A 机专家常驻 46.84GiB + GPU缓存 17.35GiB（9146 experts）；B 机专家常驻 23.26GiB page-locked + GPU缓存 1071 slots（1.30GiB），其余走文件层。</p>
<p dir="auto">测速口径：统一按 4K / 16K / 32K / 64K / 128K 五档、每档 3 次，全部取<strong>冷启动新输入</strong>（prompt cache reused=0）的引擎日志记录，temperature=0、输出 ≤256 tokens，按档位取中位数。A 机为刚才实跑的同语料基准（合成 CJK 填充语料，实际 prompt token 2,201 / 8,558 / 17,021 / 33,947 / 67,801）；B 机取自生产引擎日志中同口径的历史记录（prompt 落在各档 ±12% 内、输出 ≥200 tokens，n=6～29/档）。语料不完全相同，数字作整套配置参考。</p>
<h2>解码与缓存</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>指标</th>
<th>A：7900 XTX</th>
<th>B：3080</th>
</tr>
</thead>
<tbody>
<tr>
<td>TG @4K（冷启动）</td>
<td>116.2</td>
<td>98.9</td>
</tr>
<tr>
<td>TG @128K（冷启动）</td>
<td>119.2</td>
<td>87.3</td>
</tr>
<tr>
<td>PP @4K（冷启动）</td>
<td>690</td>
<td>~2011</td>
</tr>
<tr>
<td>PP @128K（冷启动）</td>
<td>2905</td>
<td>2355</td>
</tr>
<tr>
<td>专家缓存 hit 中位</td>
<td>97%～98%（本次基准全程）</td>
<td>88%；高负载请求 93～95%</td>
</tr>
</tbody>
</table>
<p dir="auto">两台都是 MTP spec=4、spec-min-p 0.5。A 机 hit 常年 96%+，基本纯显存+RAM 推理，TG 全程 100+ 不随上下文衰减；B 机 RAM 只有 32GB，hit 低一档，长上下文时 PCIe 补传成为瓶颈，128K 档 TG 掉到 87。</p>
<h2>启动参数</h2>
<p dir="auto">A（7900 XTX / IQ3_S）：</p>
<pre><code>--serve \
--pack "$PACK_DIR" \
--native "$GGUF_00001" \
--ple-gguf "$GGUF_00002" \
--expert-profile "$EXPERT_PROFILE" \
--expert-cache auto \
--prefill auto:32768 \
--spec 4 \
--spec-min-p 0.5 \
--mtp "$MTP_RT_DIR" \
--mtp-window 4096 \
--max-context 262144 \
--ple-io direct \
--kv int8 \
--vram-reserve-mib 768 \
--kv-resident 32768 \
--pcie-frac 0 \
--pool-workers 24 \
--mtp-q4 all \
--vision \
--conversation-cache-mib 98304 \
--conversation-cache-slots 64 \
--conversation-cache-min-tokens 2000 \
--conversation-cache-min-free-mib 8192
</code></pre>
<p dir="auto">A 机环境变量要点：<code>HSA_OVERRIDE_GFX_VERSION=11.0.0</code>、<code>GPU_MAX_HW_QUEUES=6</code>、<code>STRATA_HIPBLASLT_TUNING=gfx1100表</code>、RDNA kernel 开关一批（GR_RDNA / GDN / PF_FUSED 系列）、<code>STRATA_SH_STREAM=0</code>（实测开=掉15%）。</p>
<p dir="auto">B（3080 / TQ2_0）：</p>
<pre><code>--serve \
--pack "$PACK_DIR" \
--native "$MODEL_GGUF" \
--ple-gguf "$MODEL_GGUF" \
--expert-profile "$EXPERT_PROFILE" \
--expert-cache auto \
--prefill auto \
--spec 4 \
--spec-min-p 0.5 \
--mtp "$MTP_RT_DIR" \
--max-context 262144 \
--kv int8 \
--mmap-experts \
--resident-experts \
--vram-reserve-mib 768 \
--ple-io mmap \
--ple-row-cache 4000000
</code></pre>
<p dir="auto">B 机非默认环境变量只有三项：<code>STRATA_NO_ACQUIRE=1</code>、<code>CUDA_DEVICE_ORDER=PCI_BUS_ID</code>、<code>STRATA_RESIDENT_HEADROOM_GIB=3</code>；引擎自动项：CPU pool 22 workers、prefill chunk 自动降到 8192（RAM 不够常驻专家+大块）、batch 2 slot。</p>
<p dir="auto">视觉助手两台都放 CPU（strata-vision，不占显存）——小显存卡的必要配置；B 机因此腾出的显存全部给了专家缓存。</p>
<h2>智能程度对比（量化档差异）</h2>
<p dir="auto">两台同底模 Qwen3.8-Flash-Next，只差量化档：A = GSQ-RCO-IQ3_S（约3bit），B = Gyro-M TQ2_0（约2bit）。14 题混合卷（算术、逻辑、代码阅读、中文填空/常识、指令格式、信息抽取），两台<strong>同题同参、同轮并行</strong>各跑一遍：</p>
<ul>
<li><code>reasoning_effort = medium</code>（两台统一，不用 xhigh）</li>
<li><code>max_tokens = 32768</code>，<strong>保证思考链+正文都装得下</strong>，不靠截断逼答案</li>
<li><code>temperature = 0</code>，只采信 <code>finish_reason=stop</code> 的完整回答</li>
</ul>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>指标</th>
<th>A：IQ3_S</th>
<th>B：TQ2_0</th>
</tr>
</thead>
<tbody>
<tr>
<td>得分（14题）</td>
<td>13/14</td>
<td>13/14</td>
</tr>
<tr>
<td>有效13题输出 tokens</td>
<td>1,834</td>
<td>2,047（多12%）</td>
</tr>
<tr>
<td>有效13题思考字符</td>
<td>3,417</td>
<td>3,670（多7%）</td>
</tr>
<tr>
<td>平均单题耗时</td>
<td>2.9s</td>
<td>2.4s</td>
</tr>
<tr>
<td>长生成（宫殿题）耗时</td>
<td>225s</td>
<td>108s</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>唯一未通过的是数列题（2,3,5,11,31），我把这题标为作废</strong>——它本身有歧义（多种规律都能自圆其说），两台也给出了不同答案。但两台的失败方式有区别，值得记下来：A 思考了 46,764 字符、撞满 32,768 token 上限（finish=length），一个字的答案都没吐出来；B 在 24,598 token 时自行收尾、答了 106（错）。A 这种"思考跑飞"是真实存在的稳定性差异，B 没有出现。</p>
<p dir="auto">除此之外 13 题两台全对，<strong>正确率没有可测差距</strong>。可测的差异是 token 效率与速度：A 每题省约 12% token，B 平均快 0.5 秒/题，长任务上快一倍。</p>
<h2>长任务对比（宫殿设计，medium 档重测）</h2>
<p dir="auto">11-18 晚在干净状态下用 medium 档把宫殿题在两台重跑了一遍（原 xhigh 数据按要求全部弃用）。题目：明清官式「承天宫」设计说明书，12 项硬约束 + 术语解释 + 工序顺序 + 2500 字下限，<code>max_tokens=24000</code>：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>方案</th>
<th>输出tokens</th>
<th>思考字符</th>
<th>耗时</th>
<th>正文字数</th>
<th>12项硬约束</th>
<th>术语3项</th>
<th>工序顺序</th>
<th>建筑尺度</th>
</tr>
</thead>
<tbody>
<tr>
<td>A：IQ3_S（medium）</td>
<td>23,365</td>
<td>29,799</td>
<td>225s</td>
<td>4,764</td>
<td>12/12</td>
<td>3/3</td>
<td>正确</td>
<td><strong>崩</strong></td>
</tr>
<tr>
<td>B：TQ2_0（medium）</td>
<td>13,060</td>
<td>12,528</td>
<td>108s</td>
<td>3,029</td>
<td>12/12</td>
<td>3/3</td>
<td>正确</td>
<td><strong>合理</strong></td>
</tr>
</tbody>
</table>
<p dir="auto">两台的硬约束、斗拱/顶型解释、工序顺序都满分，差别全在<strong>尺度校验</strong>上：</p>
<ul>
<li><strong>A 照字面执行模数，算出了荒谬的尺寸</strong>：题面给「斗口=0.1米，主殿明间取7斗口」，A 老老实实做成 0.70 米/间，于是九间主殿面阔总长只有 <strong>4.30 米</strong>，整座宫城 <strong>18 米 × 14 米</strong>——比一间农舍还小，却写着"皇家宫殿"。</li>
<li><strong>B 看出尺度不对，自己把模数改了</strong>：把"7斗口"理解成"七十斗口=7米"，主殿面阔总长 <strong>47 米</strong>，宫城 <strong>120 米 × 70 米</strong>，尺度站得住；代价是违反了题面的字面约束，而且没有说明为什么改。</li>
</ul>
<p dir="auto">所以这题的真实结论是<strong>没有谁全面胜出</strong>：A 更"听话"但不会做常识校验，B 会做常识校验但擅自改条件。顺带说明，这题的条件本身自相矛盾（斗口 0.1 米 × 7 斗口 = 0.7 米/间，凑不出九间宫殿），严格说这是出题方的锅。</p>
<p dir="auto">另：宝光寺扩建（9座建筑）那题之前只跑过 xhigh 档，按要求一并弃用，这轮没重测，所以本文不含该题数据。</p>
<p dir="auto">补充一个校验器口径：自动校验器把两台的"工序顺序"都判false，是<strong>误判</strong>——它取全文首次出现位置，而前面的说明章节早就提过"台基""柱""梁"，真正的施工工序章里两台都是 基础→台基→柱网→梁架→屋面→装修→彩画 的正确顺序，我逐段人工核对过。</p>
<h2>几点经验</h2>
<ul>
<li><strong>内存比 GPU 更决定上限</strong>：A 机 256GB RAM 让 IQ3_S 专家全驻留（hit 97%+），128K 档 TG 还有 119；B 机 32GB 只装得下 23.26GiB 常驻，128K 档 hit 掉下来 TG 掉到 87。</li>
<li><strong>短输入的 PP 看 CPU 路径</strong>：4K 冷启动 A 机只有 690 tok/s（Xeon Haswell 的 AVX2 首块 prefill 拖底），B 机靠 270K Plus 跑到 ~2011；长输入两边都走 GPU fused kernel，A 机反而更高。</li>
<li><strong>swap 必须彻底关掉</strong>：MoE 专家被换页到磁盘会让 decode 成倍变慢，宁可 OOM。</li>
<li>B 机短请求 PP 只有几百 tok/s 是 prompt cache 复用后的增量口径，别拿去和冷启动比。</li>
<li>A 机 <code>--pcie-frac 0</code> + <code>--kv-resident 32768</code>：专家全驻留后不需要按比例预取，KV 常驻换长上下文稳定性。</li>
</ul>
<p dir="auto">项目：Strata；模型：Qwen3.8-Flash-Next GGUF（A：GSQ-RCO-IQ3_S；B：Gyro-M TQ2_0 abliterated + gyro pack）。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/de863b60-e050-4487-94f4-a05e48a9fb3b.png" alt="B1.png" class="img-markdown  img-fluid" /></p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/fd74954c-67eb-437d-aa66-a01215704cf0.png" alt="A1.png" class="img-markdown  img-fluid" /></p>
<p dir="auto">其实做agent的时候，decode的速度基本都没有下过100，很多时候都是跑到120以上，峰值最高曾经有169</p>
]]></description><link>https://lcz.me/topic/3187</link><generator>RSS for Node</generator><lastBuildDate>Thu, 19 Nov 2026 00:16:28 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/3187.rss" rel="self" type="application/rss+xml"/><pubDate>Wed, 18 Nov 2026 17:04:34 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 32G内存不能打？本帖会让你惊掉下巴！ on Wed, 18 Nov 2026 17:25:55 GMT]]></title><description><![CDATA[<p dir="auto">你满意就好。我看了就是交作业流派。<br />
惊掉下巴 的意义没找到！</p>
]]></description><link>https://lcz.me/post/34463</link><guid isPermaLink="true">https://lcz.me/post/34463</guid><dc:creator><![CDATA[williamlouis]]></dc:creator><pubDate>Wed, 18 Nov 2026 17:25:55 GMT</pubDate></item><item><title><![CDATA[Reply to 32G内存不能打？本帖会让你惊掉下巴！ on Wed, 18 Nov 2026 17:22:31 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/williamlouis" aria-label="Profile: williamlouis">@<bdi>williamlouis</bdi></a> 至于您提到了亮点，那不是显而易见的吗？32G的内存跑出如此的prefill和decode，智能度上也并不差IQ3 S ，我是非常满意了。</p>
]]></description><link>https://lcz.me/post/34462</link><guid isPermaLink="true">https://lcz.me/post/34462</guid><dc:creator><![CDATA[Ge Fu]]></dc:creator><pubDate>Wed, 18 Nov 2026 17:22:31 GMT</pubDate></item><item><title><![CDATA[Reply to 32G内存不能打？本帖会让你惊掉下巴！ on Wed, 18 Nov 2026 17:16:02 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/williamlouis" aria-label="Profile: williamlouis">@<bdi>williamlouis</bdi></a> 纯经验分享呀，刷啥分？没必要</p>
]]></description><link>https://lcz.me/post/34460</link><guid isPermaLink="true">https://lcz.me/post/34460</guid><dc:creator><![CDATA[Ge Fu]]></dc:creator><pubDate>Wed, 18 Nov 2026 17:16:02 GMT</pubDate></item><item><title><![CDATA[Reply to 32G内存不能打？本帖会让你惊掉下巴！ on Wed, 18 Nov 2026 17:14:35 GMT]]></title><description><![CDATA[<p dir="auto">哥们，亮点呢？此文发的没什么问题。存刷分？</p>
]]></description><link>https://lcz.me/post/34459</link><guid isPermaLink="true">https://lcz.me/post/34459</guid><dc:creator><![CDATA[williamlouis]]></dc:creator><pubDate>Wed, 18 Nov 2026 17:14:35 GMT</pubDate></item></channel></rss>