<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[寻找QFN长上下文的甜点位测试]]></title><description><![CDATA[<h1>结论</h1>
<p dir="auto">保守可用512K，考虑到一般agent 0.8的压缩阈值，高一点可用640K。</p>
<hr />
<h1>测试环境</h1>
<p dir="auto">模型：Qwen3.8-Flash-Next IQ3_S GGUF<br />
推理引擎：Strata 0.2.14<br />
GPU：2× RTX 3080 20GB<br />
平台：X99-T8/E5-2686v4/D3-256G<br />
KV Cache：INT8<br />
推理模式：temperature=0，thinking off，单实例串行<br />
256K 使用原生 RoPE；512K～1M 使用 YaRN</p>
<hr />
<h1>测试方法</h1>
<p dir="auto">构造运营台账、值班日志和会议纪要组成的长文档，包含数千条同构记录。</p>
<p dir="auto">在文档 2%～98% 的随机位置插入 8 条目标记录，每条目标均配有近似干扰记录，包括批次号相近、客户相同、日期相同等情况。</p>
<p dir="auto">每份文档进行单独提问和联合提取测试，分别考察单针检索与多针召回能力。</p>
<hr />
<h2>主要结果</h2>
<p dir="auto">在干净构造（目标记录唯一）下：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>上下文</th>
<th style="text-align:right">逐条单问</th>
<th style="text-align:right">联合 K=8</th>
</tr>
</thead>
<tbody>
<tr>
<td>256K</td>
<td style="text-align:right">100%</td>
<td style="text-align:right">100%</td>
</tr>
<tr>
<td>512K</td>
<td style="text-align:right">87.5%</td>
<td style="text-align:right">100%</td>
</tr>
<tr>
<td>576K</td>
<td style="text-align:right">87.5%</td>
<td style="text-align:right">87.5%</td>
</tr>
<tr>
<td>640K</td>
<td style="text-align:right">70.8%</td>
<td style="text-align:right">100%</td>
</tr>
<tr>
<td>1M</td>
<td style="text-align:right">62.5%</td>
<td style="text-align:right">100%</td>
</tr>
</tbody>
</table>
<p dir="auto">一个有趣的现象是：联合提取 8 条信息，有时反而比逐条询问更准确。640K 下，逐条单问为 70.8%，而联合 K=8 达到 100%。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/c94d29aa-d787-4f72-8369-9140ae0f7937.jpeg" alt="无标题1.jpeg" class="img-markdown  img-fluid" /></p>
<h2>近似干扰测试</h2>
<p dir="auto">当目标记录存在同批次、相似日期和邻近批次号等干扰时，准确率明显下降：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>上下文</th>
<th style="text-align:right">易混单问</th>
<th style="text-align:right">易混联合 K=8</th>
</tr>
</thead>
<tbody>
<tr>
<td>256K</td>
<td style="text-align:right">50%</td>
<td style="text-align:right">37.5%</td>
</tr>
<tr>
<td>512K</td>
<td style="text-align:right">75%</td>
<td style="text-align:right">50%</td>
</tr>
<tr>
<td>1M</td>
<td style="text-align:right">87.5%</td>
<td style="text-align:right">62.5%</td>
</tr>
</tbody>
</table>
<p dir="auto">这表明，模型面临的挑战不仅是能否找到远距离信息，更重要的是能否区分高度相似的记录，并确保多个字段来自同一条记录。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/95322bfd-7464-48eb-a2f1-e898d6923c23.jpeg" alt="无标题2.jpeg" class="img-markdown  img-fluid" /></p>
<h2>Prefill 性能</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>文档长度</th>
<th style="text-align:right">冷读时间</th>
<th style="text-align:right">冷读吞吐</th>
<th style="text-align:right">缓存后单问</th>
</tr>
</thead>
<tbody>
<tr>
<td>250K</td>
<td style="text-align:right">60.6s</td>
<td style="text-align:right">4,166 tok/s</td>
<td style="text-align:right">0.9s</td>
</tr>
<tr>
<td>500K</td>
<td style="text-align:right">136.5s</td>
<td style="text-align:right">3,692 tok/s</td>
<td style="text-align:right">1.3s</td>
</tr>
<tr>
<td>576K</td>
<td style="text-align:right">161.8s</td>
<td style="text-align:right">3,584 tok/s</td>
<td style="text-align:right">1.4s</td>
</tr>
<tr>
<td>640K</td>
<td style="text-align:right">184.8s</td>
<td style="text-align:right">3,487 tok/s</td>
<td style="text-align:right">1.4s</td>
</tr>
<tr>
<td>980K</td>
<td style="text-align:right">325.0s</td>
<td style="text-align:right">3,033 tok/s</td>
<td style="text-align:right">2.2s</td>
</tr>
</tbody>
</table>
<p dir="auto"><img src="https://upload.lcz.me/uploads/60c4e0e6-4a12-4b6f-8363-a5a06d67a536.jpeg" alt="无标题3.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/04bffc5c-48b0-4976-945f-aac4ca5fa45e.jpeg" alt="屏幕截图 2026-11-16 223809.jpeg" class="img-markdown  img-fluid" /></p>
]]></description><link>https://lcz.me/topic/3132</link><generator>RSS for Node</generator><lastBuildDate>Thu, 19 Nov 2026 00:16:55 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/3132.rss" rel="self" type="application/rss+xml"/><pubDate>Mon, 16 Nov 2026 16:12:58 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 寻找QFN长上下文的甜点位测试 on Tue, 17 Nov 2026 11:47:56 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/kos-or" aria-label="Profile: kos-or">@<bdi>kos-or</bdi></a> 之前分析dsh的代码，看到官方上下文压缩插件中已经搭好了异步压缩的框架，但还没有具体实现。后面应该会有的了。</p>
]]></description><link>https://lcz.me/post/34141</link><guid isPermaLink="true">https://lcz.me/post/34141</guid><dc:creator><![CDATA[neo]]></dc:creator><pubDate>Tue, 17 Nov 2026 11:47:56 GMT</pubDate></item><item><title><![CDATA[Reply to 寻找QFN长上下文的甜点位测试 on Tue, 17 Nov 2026 11:16:25 GMT]]></title><description><![CDATA[<p dir="auto">如果能有專門做 compaction 上下文壓縮的第二顆模型就好了<br />
下一個prompt 直接帶壓縮後的new KV cache prefix reuse<br />
使用上應該會非常流暢</p>
]]></description><link>https://lcz.me/post/34133</link><guid isPermaLink="true">https://lcz.me/post/34133</guid><dc:creator><![CDATA[kos or]]></dc:creator><pubDate>Tue, 17 Nov 2026 11:16:25 GMT</pubDate></item><item><title><![CDATA[Reply to 寻找QFN长上下文的甜点位测试 on Tue, 17 Nov 2026 04:12:09 GMT]]></title><description><![CDATA[<p dir="auto">256k很合适了</p>
]]></description><link>https://lcz.me/post/34049</link><guid isPermaLink="true">https://lcz.me/post/34049</guid><dc:creator><![CDATA[ikum]]></dc:creator><pubDate>Tue, 17 Nov 2026 04:12:09 GMT</pubDate></item></channel></rss>