<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[RTX 5070 12G （48G 内存） 单卡跑 Strata  + Qwen3.8 Flash-Next]]></title><description><![CDATA[<p dir="auto">今天给NAS买的128g DDR4内存到了， 就匀了16G闲置内存到台式机。过程很顺利，跟DSH的deepseek flash 许了个愿，喂给它论坛的帖子，一会就好了。Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS。 总共48g内存， 只是勉强够， 速度倒是不错， 只是空余内存很少，估计干不了什么正经事， 纯娱乐吧。估计以后可以让nas跑长任务， 然后分一些小活给台式机同时做。  （这几天折腾了下让两台机器协同工作， 不过还没整明白）</p>
<p dir="auto">关于NAS的128g内存+ 7900xtx 被Deepseek flash坑了， 它框框一顿操作了2个多小时， 还是在抄论坛作业的情况下， 告诉我最快16tk/s。 我只好自己下场找原因， 晚点整理好发上来。</p>
<h2>1. 环境</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项目</th>
<th>配置</th>
</tr>
</thead>
<tbody>
<tr>
<td>操作系统</td>
<td>windows 11</td>
</tr>
<tr>
<td>GPU</td>
<td>RTX 5070 12GB（sm_120），单卡</td>
</tr>
<tr>
<td>CPU</td>
<td>Ryzen 9 5900XT 16C/32T，仅 AVX2</td>
</tr>
<tr>
<td>RAM</td>
<td>48GB DDR4-2933</td>
</tr>
<tr>
<td>Strata</td>
<td>v0.1.41 官方 CUDA 引擎</td>
</tr>
<tr>
<td>量化</td>
<td><strong>IQ2_XS</strong></td>
</tr>
<tr>
<td>Context</td>
<td><strong>32768</strong></td>
</tr>
<tr>
<td>图像输入</td>
<td><strong>关闭</strong>（mmproj 文件有，但没启用）</td>
</tr>
</tbody>
</table>
<blockquote>
<p dir="auto">图像没开：省下约 1GB 显存留给专家缓存</p>
</blockquote>
<h2>2. 关键参数</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>参数</th>
<th>值</th>
</tr>
</thead>
<tbody>
<tr>
<td><code>--expert-cache</code></td>
<td><code>auto</code></td>
</tr>
<tr>
<td><code>--kv</code></td>
<td><code>int8</code></td>
</tr>
<tr>
<td><code>--spec</code></td>
<td><code>4</code></td>
</tr>
<tr>
<td><code>--pcie-frac</code></td>
<td><strong>0.35</strong></td>
</tr>
<tr>
<td><code>--spec-min-p</code></td>
<td><strong>0.70</strong></td>
</tr>
<tr>
<td><code>--pool-workers</code></td>
<td><strong>10</strong></td>
</tr>
<tr>
<td><code>--adapt-every / -swaps / -decay</code></td>
<td><strong>1 / 80 / 0.97</strong></td>
</tr>
<tr>
<td><code>idle_unload_s</code></td>
<td><code>900</code></td>
</tr>
</tbody>
</table>
<p dir="auto">后 6 项全是 <code>--calibrate</code> 实测出来的。</p>
<h2>3. 成绩</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>场景</th>
<th style="text-align:right">Decode</th>
</tr>
</thead>
<tbody>
<tr>
<td>校准前</td>
<td style="text-align:right">76.4 t/s</td>
</tr>
<tr>
<td><strong>校准后</strong></td>
<td style="text-align:right"><strong>82.2 t/s</strong></td>
</tr>
<tr>
<td>512 token 稳态</td>
<td style="text-align:right">81.3 t/s</td>
</tr>
<tr>
<td>数学/结构化短答</td>
<td style="text-align:right"><strong>89 ~ 96 t/s</strong></td>
</tr>
<tr>
<td>技术长文</td>
<td style="text-align:right">74 ~ 82 t/s</td>
</tr>
</tbody>
</table>
]]></description><link>https://lcz.me/topic/2204</link><generator>RSS for Node</generator><lastBuildDate>Mon, 12 Oct 2026 12:24:33 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2204.rss" rel="self" type="application/rss+xml"/><pubDate>Fri, 09 Oct 2026 01:47:33 GMT</pubDate><ttl>60</ttl></channel></rss>