<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[把闲置内存给 llama.cpp：12 份 16K 文档切换，重访首字从 24.39 秒降到 1.01 秒]]></title><description><![CDATA[<h1>把闲置内存给 llama.cpp：12 份 16K 文档切换，重访首字从 24.39 秒降到 1.01 秒</h1>
<p dir="auto">最近在折腾双 7900 XTX 跑本地模型。两路 27B 跑起来以后，系统内存还有不少空余，就试了一下：给 llama.cpp 多一点 RAM 会话缓存，能不能改善多文档切换的等待？</p>
<p dir="auto">结果比较明确：<strong>在本次 12 份文档轮换场景中，RAM 缓存预算从 8GiB 调到 16GiB，最早六份文档重访的长前缀命中从 0/6 变为 6/6，平均首字等待从 24.39 秒降到 1.01 秒。</strong></p>
<p dir="auto">这次用的始终是现有 64GB 内存，调整的是缓存预算。首次读取仍然需要约 24 秒，持续吐字速度基本相同，改善集中在切回旧文档、复用已有上下文时。</p>
<h2>测试环境</h2>
<p dir="auto">测试日期：2026 年 10 月 26 日。</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项目</th>
<th>配置</th>
</tr>
</thead>
<tbody>
<tr>
<td>系统</td>
<td>Ubuntu 26.04</td>
</tr>
<tr>
<td>CPU</td>
<td>Intel ES，系统标识 Genuine Intel(R) 0000，14 核 / 20 线程</td>
</tr>
<tr>
<td>主板</td>
<td>铭瑄 MS-Terminator B760M D4</td>
</tr>
<tr>
<td>系统内存</td>
<td>64GB，4×16GB DDR4，当前配置 2666 MT/s</td>
</tr>
<tr>
<td>显卡</td>
<td>工作站安装两张 RX 7900 XTX 24GB；本轮容量 A/B 固定用其中的涡轮卡单实例</td>
</tr>
<tr>
<td>另一张卡</td>
<td>保留原 27B 实例，容量 A/B 期间空闲</td>
</tr>
<tr>
<td>推理后端</td>
<td>llama.cpp，Vulkan</td>
</tr>
<tr>
<td>程序版本</td>
<td><code>0.7.0-dev</code>，build 169，commit <code>a8d9a7e1e55f5b613f297504d9e159807ec3a99b</code></td>
</tr>
<tr>
<td>模型</td>
<td><code>Qwen3.8-27B-UD-Q4_K_S.gguf</code>，保留 <code>mmproj-F16.gguf</code> 加载</td>
</tr>
<tr>
<td>KV 量化</td>
<td>K / V 均为 <code>q4_0</code></td>
</tr>
<tr>
<td>上下文与槽位</td>
<td><code>-c 262144 --parallel 2</code>，本机 <code>/props</code> 显示每槽 131072</td>
</tr>
<tr>
<td>固定加速参数</td>
<td><code>ngram-map-k4v,draft-mtp</code>、draft 最大 3、后端采样</td>
</tr>
</tbody>
</table>
<p dir="auto">容量对照全部在同一张卡上完成。双卡独立实例是日常部署方式，这里的差额来自同一实例的 RAM 缓存预算调整。</p>
<h2>主要改了什么</h2>
<p dir="auto">原来就有这些参数：</p>
<pre><code class="language-text">--cache-prompt
--cache-reuse 256
--parallel 2
--slot-prompt-similarity 0.80
</code></pre>
<p dir="auto">当前这个构建的 <code>--help</code> 显示，<code>--cache-ram</code> 默认上限为 <strong>8192MiB</strong>。两路原实例都没有环境变量覆盖这个值。</p>
<p dir="auto">本轮分别显式设置：</p>
<pre><code class="language-text">--cache-ram 0       # 禁用 RAM 提示缓存，保留其他参数
--cache-ram 8192    # 8GiB
--cache-ram 16384   # 16GiB
</code></pre>
<p dir="auto">RAM 缓存保存历史提示的上下文状态。旧文档离开 GPU 活动槽位后，如果状态仍保存在 RAM 中，后续请求可以恢复这份状态，减少重新预填的工作量。</p>
<p dir="auto"><code>--cache-ram</code> 的单位是 MiB，设置的是<strong>预算上限</strong>。启动时不会立刻分配满 16GiB，进程的总内存占用也还包括活动上下文、检查点等其他部分。</p>
<p dir="auto">另外，RAM 缓存预算与活动上下文长度是两项设置。把前者调大，不会自动把单请求上下文上限调大。</p>
<h2>怎么测的</h2>
<p dir="auto">分了两类对照，分别比较。</p>
<p dir="auto"><strong>第一类：三份文档，验证 RAM 恢复机制。</strong></p>
<p dir="auto">每份文档约 16K token，先依次读入 A、B、C，再按 A、B、C 的顺序重新请求。对照禁用 RAM 缓存和 8GiB 预算。</p>
<p dir="auto"><strong>第二类：十二份文档，验证缓存容量。</strong></p>
<p dir="auto">每份同样约 16K token，先依次读入 12 份，再从最旧的文档开始，按顺序重访前六份。对照 8GiB 和 16GiB 预算。</p>
<p dir="auto">文档由固定种子的合成记录构成，各文档数据不同；开头、中间、结尾各有一个独立标记，要求模型按顺序返回三个标记。每组使用相同的输入文件及 SHA256。实际输入为 16368 / 16369 token，设置最多输出 48 token，本轮长文检索回复实际均为 25 token。</p>
<p dir="auto">请求固定 <code>temperature=0</code>、<code>seed=42</code>、<code>cache_prompt=true</code>、关闭思考，使用流式输出。首字时间从客户端发出请求计到收到第一段非空输出，包含 RAM 保存、恢复等等待；同时保留服务端 <code>timings</code> 和 <code>usage</code>。</p>
<p dir="auto">每个配置独立启动一次，共四组、56 条请求，包含预热及立即重复检查。没有做多次独立启动的误差区间。每组结束恢复原服务，容量 A/B 期间另一张卡的进程保持不变。</p>
<h2>结果一：三份文档，RAM 缓存确实有效</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>RAM 缓存预算</th>
<th style="text-align:right">首次读取平均首字</th>
<th style="text-align:right">三份旧文档重访平均首字</th>
<th style="text-align:right">长前缀命中</th>
<th style="text-align:right">最后一份立即重复首字</th>
</tr>
</thead>
<tbody>
<tr>
<td>禁用</td>
<td style="text-align:right">23.347 秒</td>
<td style="text-align:right">23.609 秒</td>
<td style="text-align:right">0/3</td>
<td style="text-align:right">0.286 秒</td>
</tr>
<tr>
<td>8GiB</td>
<td style="text-align:right">23.694 秒</td>
<td style="text-align:right">1.018 秒</td>
<td style="text-align:right">3/3</td>
<td style="text-align:right">0.287 秒</td>
</tr>
</tbody>
</table>
<p dir="auto">这里特意保留了“立即重复”一列：即使禁用 RAM 缓存，刚访问过、还在 GPU 槽位里的文档也可以很快命中。只测连续重复同一份文档，很容易看不出 RAM 缓存的价值。</p>
<p dir="auto">轮换三份文档后再回来，差别就明显了。8GiB 组的日志确认发生了 RAM 状态恢复，旧文档大部分 token 得以复用。</p>
<h2>结果二：十二份文档，8GiB 与 16GiB 拉开差距</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项目</th>
<th style="text-align:right">8GiB 预算</th>
<th style="text-align:right">16GiB 预算</th>
</tr>
</thead>
<tbody>
<tr>
<td>首次读取平均首字</td>
<td style="text-align:right">24.244 秒</td>
<td style="text-align:right">24.317 秒</td>
</tr>
<tr>
<td>前六份旧文档重访平均首字</td>
<td style="text-align:right"><strong>24.391 秒</strong></td>
<td style="text-align:right"><strong>1.014 秒</strong></td>
</tr>
<tr>
<td>前六份旧文档长前缀命中</td>
<td style="text-align:right">0/6</td>
<td style="text-align:right">6/6</td>
</tr>
<tr>
<td>六次重访完成总时间，含输出</td>
<td style="text-align:right">148.120 秒</td>
<td style="text-align:right">7.859 秒</td>
</tr>
<tr>
<td>重访每请求复用 token</td>
<td style="text-align:right">21</td>
<td style="text-align:right">16364 / 16365</td>
</tr>
<tr>
<td>重访每请求重新计算 token</td>
<td style="text-align:right">16347 / 16348</td>
<td style="text-align:right">4</td>
</tr>
<tr>
<td>日志记录的缓存淘汰事件</td>
<td style="text-align:right">10</td>
<td style="text-align:right">0</td>
</tr>
<tr>
<td>同组原生生成速度均值</td>
<td style="text-align:right">81.38 tok/s</td>
<td style="text-align:right">81.27 tok/s</td>
</tr>
</tbody>
</table>
<p dir="auto">六份文档的重访首字分别为：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>文档</th>
<th style="text-align:right">8GiB</th>
<th style="text-align:right">16GiB</th>
</tr>
</thead>
<tbody>
<tr>
<td>第 1 份</td>
<td style="text-align:right">24.3773 秒</td>
<td style="text-align:right">1.0138 秒</td>
</tr>
<tr>
<td>第 2 份</td>
<td style="text-align:right">24.4042 秒</td>
<td style="text-align:right">1.0134 秒</td>
</tr>
<tr>
<td>第 3 份</td>
<td style="text-align:right">24.3901 秒</td>
<td style="text-align:right">1.0105 秒</td>
</tr>
<tr>
<td>第 4 份</td>
<td style="text-align:right">24.3833 秒</td>
<td style="text-align:right">1.0247 秒</td>
</tr>
<tr>
<td>第 5 份</td>
<td style="text-align:right">24.4013 秒</td>
<td style="text-align:right">1.0141 秒</td>
</tr>
<tr>
<td>第 6 份</td>
<td style="text-align:right">24.3921 秒</td>
<td style="text-align:right">1.0071 秒</td>
</tr>
</tbody>
</table>
<p dir="auto">这组重访的平均首字等待减少约 <strong>95.8%</strong>。8GiB 组仍能复用 21 个公共前缀 token，但长文档状态已经被淘汰，需要重新读取正文；16GiB 组则六次都恢复了 RAM 中的旧状态。</p>
<p dir="auto">日志中能对应看到：</p>
<pre><code class="language-text"># 8GiB 组出现为新条目腾空间的淘汰记录
making room for prompt cache entry, removing oldest entry

# 16GiB 组重访时找到更合适的历史状态
found better prompt with f_keep = 0.999, f_sim = 1.000
</code></pre>
<p dir="auto">第一份文档在 16GiB 组重访的原始记录节选：</p>
<pre><code class="language-json">{
  "ttft_s": 1.0138,
  "usage": {
    "prompt_tokens": 16369,
    "completion_tokens": 25,
    "prompt_tokens_details": {
      "cached_tokens": 16365
    }
  },
  "timings": {
    "cache_n": 16365,
    "prompt_n": 4
  }
}
</code></pre>
<p dir="auto">上表的 0/6 和 6/6，仅指本次指定重访顺序下、这六份旧文档的长前缀命中；命中按复用超过输入的 90% 计，并额外核验 RAM 恢复日志。从最旧文档顺序重访会形成连续淘汰压力，日常访问顺序不同，命中率也会不同。</p>
<p dir="auto">生成速度来自这批短检索回复，只用于观察明显回退，不作为长篇代码生成成绩。</p>
<h2>实际用了多少内存</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项目</th>
<th style="text-align:right">8GiB 预算、12 文档</th>
<th style="text-align:right">16GiB 预算、12 文档</th>
</tr>
</thead>
<tbody>
<tr>
<td>引擎日志统计的 RAM 缓存峰值</td>
<td style="text-align:right">7.73GiB</td>
<td style="text-align:right">10.51GiB</td>
</tr>
<tr>
<td>实验进程 RSS 峰值</td>
<td style="text-align:right">9.80GiB</td>
<td style="text-align:right">12.51GiB</td>
</tr>
<tr>
<td>系统最低 MemAvailable</td>
<td style="text-align:right">47.29GiB</td>
<td style="text-align:right">44.53GiB</td>
</tr>
<tr>
<td>测量期间全机新增 swap 换出</td>
<td style="text-align:right">0MiB</td>
<td style="text-align:right">0MiB</td>
</tr>
</tbody>
</table>
<p dir="auto">所以这次的限制很直接：默认缓存上限到了，系统内存还有不少。调高预算以后，旧文档得以保留下来。</p>
<p dir="auto">缓存峰值和 RSS 来自不同统计口径；系统可用内存还受其他进程、文件缓存等影响，不把几列数值简单相加减。表中数据也是单个实验实例的观测值，两路实例同时把缓存填满的峰值还没有测。</p>
<h2>想自己试，怎么设置</h2>
<p dir="auto">已有服务可以先保留启动命令，只把 RAM 预算明确设为：</p>
<pre><code class="language-text">--cache-ram 16384
</code></pre>
<p dir="auto">下面是本轮副卡实例的参数形式，路径、端口和设备名已换为示例值。<code>YOUR_VULKAN_DEVICE</code> 按自己程序的 <code>--list-devices</code> 输出填写；MTP 等参数需要使用支持它们的构建。缓存 A/B 时，两组保持同一个程序和其他参数，只改最后的 RAM 预算。</p>
<pre><code class="language-bash">./llama-server \
  -m /path/to/Qwen3.8-27B-UD-Q4_K_S.gguf \
  --device YOUR_VULKAN_DEVICE \
  --mmproj /path/to/mmproj-F16.gguf \
  --spec-type ngram-map-k4v,draft-mtp \
  --spec-ngram-map-k4v-size-n 12 \
  --spec-draft-n-max 3 \
  --spec-draft-p-min 0 \
  --backend-sampling \
  --host 127.0.0.1 --port 8080 \
  -ngl 999 -fa 1 -c 262144 -ub 512 \
  --cache-type-k q4_0 --cache-type-v q4_0 \
  --reasoning off \
  --cont-batching --cache-prompt --cache-reuse 256 \
  --parallel 2 --slot-prompt-similarity 0.80 \
  --log-verbosity 4 \
  --cache-ram 16384
</code></pre>
<p dir="auto">本轮 <code>--cache-idle-slots</code> 沿用该构建默认的启用状态，两组一致；没有另外切换 unified KV 模式。<code>--log-verbosity 4</code> 用来观察缓存日志，测试后可以恢复日常日志级别。</p>
<p dir="auto">复测时建议：</p>
<ol>
<li>分别用 <code>--cache-ram 8192</code> 和 <code>--cache-ram 16384</code> 启动，每组从干净进程开始。</li>
</ol>
]]></description><link>https://lcz.me/topic/2591</link><generator>RSS for Node</generator><lastBuildDate>Sun, 22 Nov 2026 12:35:17 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2591.rss" rel="self" type="application/rss+xml"/><pubDate>Mon, 26 Oct 2026 03:30:53 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 把闲置内存给 llama.cpp：12 份 16K 文档切换，重访首字从 24.39 秒降到 1.01 秒 on Thu, 05 Nov 2026 07:46:29 GMT]]></title><description><![CDATA[<p dir="auto">applejuice 我只有一张显卡玩不起</p>
]]></description><link>https://lcz.me/post/31297</link><guid isPermaLink="true">https://lcz.me/post/31297</guid><dc:creator><![CDATA[yuan hao]]></dc:creator><pubDate>Thu, 05 Nov 2026 07:46:29 GMT</pubDate></item><item><title><![CDATA[Reply to 把闲置内存给 llama.cpp：12 份 16K 文档切换，重访首字从 24.39 秒降到 1.01 秒 on Tue, 27 Oct 2026 09:31:17 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/yuan-hao" aria-label="Profile: yuan-hao">@<bdi>yuan-hao</bdi></a> 现在不是都玩vllm sglang 了吗</p>
]]></description><link>https://lcz.me/post/28303</link><guid isPermaLink="true">https://lcz.me/post/28303</guid><dc:creator><![CDATA[applejuice]]></dc:creator><pubDate>Tue, 27 Oct 2026 09:31:17 GMT</pubDate></item><item><title><![CDATA[Reply to 把闲置内存给 llama.cpp：12 份 16K 文档切换，重访首字从 24.39 秒降到 1.01 秒 on Tue, 27 Oct 2026 09:08:32 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a> 是，不过我测试以及我想要高并发给知识库用，暂时这个效果更好一些。我还有个自己弄得测试27b测试比strata fn分数好一点。等96内存到位再测一下。东西在手猛测就是。</p>
]]></description><link>https://lcz.me/post/28295</link><guid isPermaLink="true">https://lcz.me/post/28295</guid><dc:creator><![CDATA[Cennac]]></dc:creator><pubDate>Tue, 27 Oct 2026 09:08:32 GMT</pubDate></item><item><title><![CDATA[Reply to 把闲置内存给 llama.cpp：12 份 16K 文档切换，重访首字从 24.39 秒降到 1.01 秒 on Tue, 27 Oct 2026 08:54:43 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a> strata 只支持稀疏MOE的模型吧，稠密的27B模型还得是llama.cpp</p>
]]></description><link>https://lcz.me/post/28291</link><guid isPermaLink="true">https://lcz.me/post/28291</guid><dc:creator><![CDATA[yuan hao]]></dc:creator><pubDate>Tue, 27 Oct 2026 08:54:43 GMT</pubDate></item><item><title><![CDATA[Reply to 把闲置内存给 llama.cpp：12 份 16K 文档切换，重访首字从 24.39 秒降到 1.01 秒 on Tue, 27 Oct 2026 08:26:51 GMT]]></title><description><![CDATA[<p dir="auto">弟，strata出来之后这框架就凉了，<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f622.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--cry" style="height:1.4em;width:auto;vertical-align:middle" title="😢" alt="😢" /></p>
]]></description><link>https://lcz.me/post/28276</link><guid isPermaLink="true">https://lcz.me/post/28276</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Tue, 27 Oct 2026 08:26:51 GMT</pubDate></item></channel></rss>