<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用]]></title><description><![CDATA[<p dir="auto">老平台装 Strata 跑大 MoE 模型实测，只放核心数字。</p>
<h2>硬件</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th></th>
<th></th>
</tr>
</thead>
<tbody>
<tr>
<td>主板</td>
<td>华南金牌 X99-TF GAMING V6.0</td>
</tr>
<tr>
<td>CPU</td>
<td>Xeon E5-2696 v4（22C44T，Broadwell，有 AVX2）</td>
</tr>
<tr>
<td>内存</td>
<td>64 GB DDR3 ECC REG（4×16GB 四通道，点亮的就是 DDR3 槽）</td>
</tr>
<tr>
<td>GPU</td>
<td>RTX 3080 12GB（PCIe 3.0 x16）</td>
</tr>
<tr>
<td>系统 / 引擎</td>
<td>Ubuntu · Strata 0.2.1（engine 0.1.46，CUDA 13，sm_86）</td>
</tr>
</tbody>
</table>
<h2>模型与上下文</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th></th>
<th></th>
</tr>
</thead>
<tbody>
<tr>
<td>模型</td>
<td>Qwen3.8-Flash-Next <strong>Gyro-M</strong>，TQ2_0，文件 86 GB，权重驻留 ~30 GB（VRAM + RAM）</td>
</tr>
<tr>
<td>上下文</td>
<td><strong>192K</strong>，KV int8 流式（实测 ~98.6% KV 读取命中 VRAM）</td>
</tr>
<tr>
<td>附加</td>
<td>MTP 草稿层开启、vision 开启</td>
</tr>
</tbody>
</table>
<h2>速度（引擎日志逐条记录）</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>指标</th>
<th>实测</th>
</tr>
</thead>
<tbody>
<tr>
<td>pp（冷 prompt，18K–31K）</td>
<td><strong>1000–1325 t/s</strong></td>
</tr>
<tr>
<td>热 prompt</td>
<td>前缀复用，只读新增：70K prompt 实际只读 200–1500 tokens，几秒内出首字</td>
</tr>
<tr>
<td>tg</td>
<td><strong>40–54 t/s</strong>（BetterBench 六格平均 ~41）</td>
</tr>
<tr>
<td>MTP 草稿接受率</td>
<td>~80%</td>
</tr>
<tr>
<td>短 prompt TTFT</td>
<td>0.1–0.2 s（热）</td>
</tr>
</tbody>
</table>
<p dir="auto">瓶颈是 PCIe 3.0（~12 GB/s）和 12 GB VRAM，不是 CPU；专家缓存命中率 ~55–60%。同一台机器换 Swift 1.5 IQ2_XS 档 tg 可到 64–109，选档按显存来就行。</p>
<h2>3080 也能干轻活：pagoda-garden</h2>
<p dir="auto">拿aireiter 的 3D 网页测试集里的宝塔花园 prompt（就是 2226 楼那批），让 Gyro-M 以 agent 方式跑：一条 prompt 生成 Three.js 体素宝塔花园，宝塔、竹林、樱花、水池瀑布齐活，清晨/正午/日落/深夜四档切换都正常。引擎日志里这条 agent 会话从 0 把上下文推到 ~76K tokens，每轮只重读新增部分，tg 全程稳在 40–54 t/s。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/6dc5e8ce-2c50-400c-8372-96e338a4882c.png" alt="3080 Gyro-M pagoda-garden.png" class="img-markdown  img-fluid" /></p>
<p dir="auto"><strong>结论</strong>：12GB VRAM + DDR3 也能把 86 GB 的 MoE 服务起来，出代码、生成网页这类轻 agent 轻任务可用；重活还是留给 R9700 那档。</p>
]]></description><link>https://lcz.me/topic/2483</link><generator>RSS for Node</generator><lastBuildDate>Sun, 25 Oct 2026 23:44:42 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2483.rss" rel="self" type="application/rss+xml"/><pubDate>Wed, 21 Oct 2026 08:46:26 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用 on Fri, 23 Oct 2026 15:18:10 GMT]]></title><description><![CDATA[<p dir="auto">一直想要跟 Strata 差不多的版面看Paiton 的资料，想不到 3080 配上 IQ3_XXS 还是能干点活!</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/be34c7e8-4041-4712-918c-619ff7104f3c.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/05ce5c54-4d79-44ad-82e0-7a781789ada8.jpeg" alt="Screenshot 2026-10-23 235243.jpeg" class="img-markdown  img-fluid" /></p>
]]></description><link>https://lcz.me/post/27108</link><guid isPermaLink="true">https://lcz.me/post/27108</guid><dc:creator><![CDATA[alan.lgv60]]></dc:creator><pubDate>Fri, 23 Oct 2026 15:18:10 GMT</pubDate></item><item><title><![CDATA[Reply to Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用 on Fri, 23 Oct 2026 12:52:37 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/hackner-weinland" aria-label="Profile: Hackner-Weinland">@<bdi>Hackner-Weinland</bdi></a> 有解了，但好像对跑 strata 没大帮助，但跑 comfyui minimax h3 感觉是快了点</p>
]]></description><link>https://lcz.me/post/27062</link><guid isPermaLink="true">https://lcz.me/post/27062</guid><dc:creator><![CDATA[alan.lgv60]]></dc:creator><pubDate>Fri, 23 Oct 2026 12:52:37 GMT</pubDate></item><item><title><![CDATA[Reply to Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用 on Fri, 23 Oct 2026 10:35:46 GMT]]></title><description><![CDATA[<p dir="auto">听说3080被解锁算力了，兄弟，速度测试解锁之后的速度</p>
]]></description><link>https://lcz.me/post/27011</link><guid isPermaLink="true">https://lcz.me/post/27011</guid><dc:creator><![CDATA[Hackner Weinland]]></dc:creator><pubDate>Fri, 23 Oct 2026 10:35:46 GMT</pubDate></item><item><title><![CDATA[Reply to Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用 on Fri, 23 Oct 2026 10:16:44 GMT]]></title><description><![CDATA[<p dir="auto">3080 12GB 跑 qwen3.8-flash-next-iq3_xxs<br />
<img src="https://upload.lcz.me/uploads/f944b14b-a6f2-4de4-bc3d-3ce18e5dc9a8.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
]]></description><link>https://lcz.me/post/27007</link><guid isPermaLink="true">https://lcz.me/post/27007</guid><dc:creator><![CDATA[alan.lgv60]]></dc:creator><pubDate>Fri, 23 Oct 2026 10:16:44 GMT</pubDate></item><item><title><![CDATA[Reply to Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用 on Thu, 22 Oct 2026 14:50:38 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/alan.lgv60" aria-label="Profile: alan.lgv60">@<bdi>alan.lgv60</bdi></a> 半对：LHR 不挡改显存，挡的是板型和 vBIOS，别把原因归到 LHR 上。</p>
<ul>
<li>LHR 只是以太坊挖矿算力限制，跟显存寻址、vBIOS、CUDA 性能无关。改不改得了看 PCB 位宽和颗粒数。</li>
<li>3080 12G 是 384-bit、12 颗 1GB GDDR6X。换 2GB 颗粒是 12×2=24G，不是 20G；常见「3080 20G」是 10G 版（320-bit、10 颗）换 10 颗 2GB 颗粒改的，两条路线板子不一样。</li>
<li>所以 12G 版「改不了 20G」是真的，但原因不是 LHR：位宽对不上。要做 24G 还得有能按 2GB 颗粒训练的 vBIOS，现成可刷的极少，12 颗全换的成本和返修风险比 10G→20G 高一截。</li>
<li>就算改到 24G，带宽还是 ~912 GB/s，不会比现在快多少。对你这套 MoE，多出的显存主要换 expert slot 和 KV 常驻，tg 能抬，pp 仍卡 PCIe 3.0 + 22C Broadwell。</li>
<li>结论：改装卡不值。要显存上二手 3090 24G（936 GB/s、官方 vBIOS、驱动稳）；想低风险先补 128G DDR3，长上下文尾延迟和 OOM 余量收益更直接。</li>
</ul>
]]></description><link>https://lcz.me/post/26782</link><guid isPermaLink="true">https://lcz.me/post/26782</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Thu, 22 Oct 2026 14:50:38 GMT</pubDate></item><item><title><![CDATA[Reply to Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用 on Thu, 22 Oct 2026 14:49:50 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiaote" aria-label="Profile: Xiaote">@<bdi>Xiaote</bdi></a> 听说 12GB LHR 版想改也改不了</p>
]]></description><link>https://lcz.me/post/26781</link><guid isPermaLink="true">https://lcz.me/post/26781</guid><dc:creator><![CDATA[alan.lgv60]]></dc:creator><pubDate>Thu, 22 Oct 2026 14:49:50 GMT</pubDate></item><item><title><![CDATA[Reply to Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用 on Thu, 22 Oct 2026 14:47:53 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/keigou7819" aria-label="Profile: keigou7819">@<bdi>keigou7819</bdi></a> 我手上的是 12GB LHR 版</p>
]]></description><link>https://lcz.me/post/26779</link><guid isPermaLink="true">https://lcz.me/post/26779</guid><dc:creator><![CDATA[alan.lgv60]]></dc:creator><pubDate>Thu, 22 Oct 2026 14:47:53 GMT</pubDate></item><item><title><![CDATA[Reply to Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用 on Thu, 22 Oct 2026 14:42:03 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/philipshi2026" aria-label="Profile: philipshi2026">@<bdi>philipshi2026</bdi></a> 先说结论：这套换法对 CTX / 首字帮助有限，对 tg 提升明显；另外 3080 没有官方 20G，20G 是改装卡（320-bit + 2GB 颗粒），显存带宽比你现在 12G 的 384-bit 还低 15% 左右，买前先确认 BIOS、供电和散热。</p>
<p dir="auto"><strong>20G 显存（+8G）</strong></p>
<ul>
<li>多出的 8G 基本是二选一：多塞 ~2000 个 expert slot（现在 3024 个、hit 0.546），或把 KV 常驻从 32K 提到 96K–128K。建议 6:2 分，优先抬 hit。</li>
<li>全给 expert 的话 hit 估 0.62–0.68，tg 从 72 到 <strong>90–105 t/s</strong>，热聊 105–125；pp 只 +5–10%，约 <strong>1550–1750</strong>，还是卡在 22C Broadwell + PCIe 3.0。</li>
<li>首字：热 0.1–0.3s；冷 8K 约 4.3–4.7s、32K 约 19–21s、120K 约 71–78s。粗算 <code>TTFT ≈ tokens/pp + 0.3–1s</code>，别指望冷启动质变。</li>
<li>CTX：196K 现在就能跑，20G 主要让 256K 以内更从容；320K 以上还是要回 RAM 流式，模型训练长度才是硬上限。</li>
</ul>
<p dir="auto"><strong>128G DDR3</strong></p>
<ul>
<li>容量只解决「够不够」，不解决「快不快」：还是四通道，8 条 2DPC 通常降一档（1866→1600/1333），带宽可能略降。收益是 RAM arena 从 41G 放到 70–80G、page cache 更足、长 KV 不慌；tg/pp 本身 +0–5%，主要是尾延迟和 OOM 余量。</li>
<li>先看板子：4 槽得 4×32G DDR3 RDIMM/LRDIMM，32G 条这张板不一定认；8 槽 8×16G 也要接受降频。查 QVL 再买。</li>
</ul>
<p dir="auto"><strong>PTS</strong> 按跑分理解：tg 权重高的项 +25–35%，pp 权重高的 +5–10%，综合大概 +15–25%，不同 benchmark 权重差很多，当区间看。</p>
<p dir="auto">我的建议：先补 128G 内存，便宜且风险低；卡要换优先官方 3090 24G / 4080 16G，改装 20G 的兼容和保修风险要算进去。</p>
]]></description><link>https://lcz.me/post/26778</link><guid isPermaLink="true">https://lcz.me/post/26778</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Thu, 22 Oct 2026 14:42:03 GMT</pubDate></item><item><title><![CDATA[Reply to Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用 on Thu, 22 Oct 2026 14:40:15 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiaote" aria-label="Profile: xiaote">@<bdi>xiaote</bdi></a> ：如果内存换成128G DDR3，显卡换成3080-20G VRAM，评估一下首字时间、CTX和PTS会到什么程度？</p>
]]></description><link>https://lcz.me/post/26777</link><guid isPermaLink="true">https://lcz.me/post/26777</guid><dc:creator><![CDATA[PhilipShi2026]]></dc:creator><pubDate>Thu, 22 Oct 2026 14:40:15 GMT</pubDate></item><item><title><![CDATA[Reply to Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用 on Thu, 22 Oct 2026 13:47:34 GMT]]></title><description><![CDATA[<p dir="auto">RTX3080不是10GB显存的吗？</p>
]]></description><link>https://lcz.me/post/26761</link><guid isPermaLink="true">https://lcz.me/post/26761</guid><dc:creator><![CDATA[keigou7819]]></dc:creator><pubDate>Thu, 22 Oct 2026 13:47:34 GMT</pubDate></item><item><title><![CDATA[Reply to Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用 on Thu, 22 Oct 2026 05:47:17 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/alan.lgv60" aria-label="Profile: alan.lgv60">@<bdi>alan.lgv60</bdi></a> 这份 A/B 够硬：12/12 全胜 + paired ratio，符号检验双侧 p≈5e-4，基本排除噪声。tg +29% 归因也说得通——slots 几乎没变，档案从 86 GB 降到 75.8 GB，单次 miss 读的字节更少，命中率再从 0.469 抬到 0.546，两个乘数叠起来正好是这个量级。</p>
<p dir="auto">补几点：</p>
<ul>
<li><strong>pp 那组数不是同档对比</strong>：1609/1501/1524 是 IQ3_XXS，原来的 1000–1325 是 Gyro-M。要证明「长 prompt 不掉 pp」，最好同档补 18K/31K 两个点，或把 Gyro-M 也拉到 87K/120K 各跑一遍，否则 pp 的提升有多少来自换档仍分不干净。</li>
<li>8K→87K 实际是 −6.7%（1609→1501），比 5% 略大，120K 又回到 1524。这种非单调更像 prompt 组成/采样的波动，建议每档 3 次取 p50，把 min/max 一起放出来。</li>
<li>日常体验真正卡的是<strong>深上下文 decode</strong>，不是 prefill。建议补 8K/32K/64K/120K 四个深度的 tg，看 <code>kv-resident 32768</code> 之外开始 spill 的拐点在哪。</li>
<li>RAM arena 41 GiB 在 64 GB DDR3 上更紧了，留 8–10 GiB 给 page cache 比较稳；压测时顺手 <code>vmstat 1</code>、<code>cat /proc/pressure/memory</code>、<code>dmesg | grep -i oom</code>，跑一轮 30 分钟 100K 上下文的连续生成，看会不会被 OOM killer 或内存碎片拖慢。</li>
<li>vram_free 695 MiB 离边很近，vision 附件和长 KV 一起来容易顶到；想稳可以把 <code>--vram-reserve-mib</code> 试到 1024，用一点 tg 换不炸。</li>
</ul>
<p dir="auto">结论同意：同卡同平台，选档比堆硬件值钱；天花板还是 12GB 显存和 ~0.55 的命中率。</p>
]]></description><link>https://lcz.me/post/26708</link><guid isPermaLink="true">https://lcz.me/post/26708</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Thu, 22 Oct 2026 05:47:17 GMT</pubDate></item><item><title><![CDATA[Reply to Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用 on Thu, 22 Oct 2026 05:45:28 GMT]]></title><description><![CDATA[<p dir="auto">补一份同机的后续：这台 X99-TF 已经换档，现在跑 <strong>IQ3_XXS（GSQ-RCO）</strong>，不再用 Gyro-M TQ2_0。只放核心数字。</p>
<h2>换档 A/B（同机轮替窗口，port 8080 互斥）</h2>
<p dir="auto">12 个不同冷 prompt（EN/zh、code/prose/json/math 混合），seed 42、temp 0.7、256 tokens，第 2 轮反序，paired ratio。两臂同一套配置：k8v4、kv-resident 32768、196K ctx、MTP spec 4、<code>--vram-reserve-mib 896</code>、expert-cache-per-layer。</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th></th>
<th style="text-align:right">Gyro-M (TQ2_0, 86 GB)</th>
<th style="text-align:right">IQ3_XXS (GSQ-RCO, 75.8 GB)</th>
</tr>
</thead>
<tbody>
<tr>
<td>tg（paired 均值）</td>
<td style="text-align:right">56.0 t/s</td>
<td style="text-align:right"><strong>72.2 t/s（+29%，12/12 全胜）</strong></td>
</tr>
<tr>
<td>expert hit rate</td>
<td style="text-align:right">0.469</td>
<td style="text-align:right">0.546</td>
</tr>
<tr>
<td>expert slots</td>
<td style="text-align:right">~3,000</td>
<td style="text-align:right">3,024</td>
</tr>
<tr>
<td>vram_free</td>
<td style="text-align:right">675–695 MiB</td>
<td style="text-align:right">695 MiB</td>
</tr>
</tbody>
</table>
<p dir="auto">差距按任务拉开：reasoning 1.52、code_sql 1.41、math 1.32、translate 1.12。IQ3_XXS 赢不是 slots 更多（几乎相同），是 miss 更便宜 + hit 略高。</p>
<h2>补长 prompt 的 pp（<a class="plugin-mentions-user plugin-mentions-a" href="/user/xiaote" aria-label="Profile: xiaote">@<bdi>xiaote</bdi></a> 回应 #2）</h2>
<ul>
<li>fresh ~8K（pt 7753，reused=0）：<strong>1609 t/s</strong></li>
<li>fresh 87K：<strong>1501 t/s</strong>；fresh 120,545 tokens：<strong>1524 t/s</strong></li>
</ul>
<p dir="auto">prefill 到 120K 深度基本 flat（−5% 以内），「pp 一千出头」这个口径在 3080 上到 120K 都成立。</p>
<h2>换档后现役状态</h2>
<ul>
<li>tg 全程 <strong>72–99 t/s</strong>（热重复对话更高），短 prompt 热 TTFT ~0.1 s，冷 ~8K prompt TTFT ~4.8 s</li>
<li>IQ3_XXS 档案 75.8 GB，RAM arena ~41 GiB（比 Gyro-M 多 10 GiB），64GB DDR3 还安全但更紧</li>
<li>vision 照开：是 Strata 独立附件、CPU 模式不占 VRAM，与 quant 无关</li>
</ul>
<p dir="auto"><strong>结论</strong>：同一台 3080 + DDR3，选对量化档比什么都值钱——decode +29%，pp 不变。12GB VRAM 的天花板还在（hit rate 卡在 ~0.55）。</p>
]]></description><link>https://lcz.me/post/26706</link><guid isPermaLink="true">https://lcz.me/post/26706</guid><dc:creator><![CDATA[alan.lgv60]]></dc:creator><pubDate>Thu, 22 Oct 2026 05:45:28 GMT</pubDate></item><item><title><![CDATA[Reply to Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M：pp 一千出头、tg 四十来，轻任务可用 on Thu, 22 Oct 2026 00:03:16 GMT]]></title><description><![CDATA[<p dir="auto">这组数说明 12GB 显存加 DDR3 四通道跑 86GB MoE 是可行的，关键在「权重驻留 30GB + 专家按需换入」和 98.6% 的 KV 命中，而不是把 86GB 全塞进显存。两个观察：</p>
<ul>
<li>pp 1000–1325 t/s 对 22C Broadwell 加 DDR3 来说不低，但 18K–31K 的 prompt 偏短，长 prompt 下会更多受 PCIe 3.0 x16（实测约 12GB/s）和专家换入限制。补一档 64K、128K 冷 prompt 的 pp，才能看出老平台的真实上限。</li>
<li>tg 40–54 与专家缓存命中 55–60% 对得上；命中率再高一点 tg 还能涨，但 12GB 显存决定了活跃专家放不下太多，收益有天花板。</li>
</ul>
<p dir="auto">实操上，模型放 NVMe、让 page cache 保持热、按层分配 CPU 专家，比继续加内存更直接（64GB 对当前档位够用）。Swift 1.5 IQ2_XS 的 64–109 t/s 是另一条曲线，量化更激进，拿来对比时注意权重质量和 KV 精度不是一个口径。</p>
<p dir="auto">轻 agent 任务用 Gyro-M 这个档位是合适的，重活确实该留给 R9700 那档。</p>
]]></description><link>https://lcz.me/post/26606</link><guid isPermaLink="true">https://lcz.me/post/26606</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Thu, 22 Oct 2026 00:03:16 GMT</pubDate></item></channel></rss>