<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[【实测】ThinkPad P1 Gen4-3080显卡：NInfer 长上下文测试报告摘要]]></title><description><![CDATA[<p dir="auto">测试对象：NINFER v2 容器制品<br />
1） ternary-bonsai-3080-sm86-ninfer（代号 M_TER，identity qwen3.8-27b）<br />
2）ornith_1_5_35b_a3b（代号M_ORN，identity qwen3.6-35b-a3b）</p>
<p dir="auto">硬件：ThinkPad P1 Gen4 RTX 3080 Laptop 16 GiB / sm_86 /驱动596.47 /80 W 功耗墙（上限100 W 不可调）/ 32 GB 单通道 DDR4-3200<br />
测试窗口：2026-10-09 21:47 → 2026-10-10 08:53（Asia/hanghai），全程GPU 独占</p>
<p dir="auto">结论先行：CTX 64K / 100K / 128K 各自每秒生成多少 token<br />
被测组合：M_TER（ternary-bonsai-3080-sm86-ninfer，7.736 GiB 文件 / 设备常驻 7.12 GiB）+ 社区 sm_86 引擎 E_TER（engine\ninfer.exe，构建日期 2026-10-06）。<br />
统一口径：--kv-dtype int8、--spec mtp --draft-tokens 2、--greedy（温度 0）、--no-thinking、--prefill-chunk 1024、--max-new 256、--max-context = --kv-capacity = 档位、CUDA graph 开启、填充 = 档位 − 512 token。</p>
<h3>1.1 主表（全部【实测】）</h3>
<h3>1.1 主表（全部【实测】）— 转置</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>指标</th>
<th><strong>64K</strong>（65536）</th>
<th><strong>100K</strong>（102400）</th>
<th><strong>128K</strong>（131072）</th>
</tr>
</thead>
<tbody>
<tr>
<td>填充 token（引擎自报实测）</td>
<td>64,345</td>
<td>100,800</td>
<td>129,153</td>
</tr>
<tr>
<td><strong>解码 tok/s（引擎自报）</strong></td>
<td><strong>18.8</strong></td>
<td><strong>17.0</strong></td>
<td><strong>16.1</strong>（另一次 15.0；<strong>中位 15.6</strong>）</td>
</tr>
<tr>
<td>解码 tok/s（客户端口径）</td>
<td><strong>19.6</strong>（serve SSE 扣首 token）</td>
<td><strong>基准缺失</strong>（未测 serve）</td>
<td><strong>15.0</strong>（step-07 serve A 请求，扣首 token 15.04 / 含首 token 15.39）</td>
</tr>
<tr>
<td>样本数 / 中位</td>
<td><strong>4 次 / 18.8</strong>（4 次全 18.8）</td>
<td><strong>1 次 / 17.0</strong></td>
<td><strong>2 次 / 15.6</strong></td>
</tr>
<tr>
<td>prefill tok/s</td>
<td>118.1</td>
<td>108.8</td>
<td>104.4</td>
</tr>
<tr>
<td>prefill 墙钟</td>
<td>544.8 s（9m04.8s）</td>
<td>926.6 s（15m26.6s）</td>
<td>1237.5 s（20m37.5s）</td>
</tr>
<tr>
<td>TTFT</td>
<td>554.87 s</td>
<td>未实测（【推算】<strong>931.4 s</strong> = prefill 926.6 s + 起引擎 4.8 s）</td>
<td>1237.28 s（serve A 请求）</td>
</tr>
<tr>
<td>生成 token</td>
<td>49</td>
<td>60</td>
<td>53</td>
</tr>
<tr>
<td>MTP 接受率</td>
<td>50.0%</td>
<td>45.2%</td>
<td>50.0%</td>
</tr>
<tr>
<td>峰值显存（1 s 采样）</td>
<td>10,007 MiB</td>
<td>11,319 MiB</td>
<td>12,271 MiB</td>
</tr>
<tr>
<td>引擎自报 planned device total</td>
<td>9.70 GiB</td>
<td>10.9 GiB</td>
<td>11.9 GiB</td>
</tr>
</tbody>
</table>
<p dir="auto">三句话答案</p>
<p dir="auto">64K：约 18.8 token/s（引擎自报；客户端 19.6 t/s；四条独立测量全部 18.8）。<br />
100K：约 17.0 token/s（仅 1 次样本，且没有任何 serve 侧数据）。<br />
128K：约 15.0–16.1 token/s（中位 15.6）（2 次样本：CLI 16.1 + step-07 serve A 请求 15.0；客户端口径 15.0）。</p>
<p dir="auto">随上下文加长，解码只掉 14%（64K→128K：18.8 → 16.1 t/s，−14.4%；100K 居中 17.0）。这与 KVMem/llama.cpp 路线在同类硬件上"每条 token 都要重读预算内权重"的陡降不同 —— 本引擎的 KV 是 paged KV + 显存常驻，因此长上下文代价主要落在 prefill 墙钟和 MTP 接受率上，而不是解码吞吐的崩塌。</p>
<p dir="auto">三个必须与数字同读的口径事实</p>
<p dir="auto">这是"满载上下文"的数字：64,345 / 100,800 / 129,153 token 已把上下文填满（档位 −512），不可用来预测短对话的体验 —— 同一台 64K 服务器上，48-token 短提示词的解码是 53.3 t/s【实测，c2-results.jsonl C1a/C1b】，比满载低 64.7%。差别来自 MTP 接受率（短上下文 98.3% vs 长上下文 41.7–50.0%）与注意力开销。</p>
<p dir="auto">解码样本很短：--max-new 256 未跑满，命中 stop-token 提前结束，生成长度 44–60 token，解码窗口仅 2.4–3.5 s。这是本报告 decode 数字最大的方法学弱点（见 §8.2）。<br />
prefill 是真正的瓶颈：64K/100K/128K 的首字等待分别是 9 分 15 秒 / 15 分 27 秒 / 20 分 37 秒；同批次没有"额外暖机"——CLI 单进程墙钟 ≈ 起引擎 4–5 s + 整篇 prefill + decode（step-03 曾把 prefill 重复计成"暖机 ≈8.5 ms × ctx"，已被 step-06 用原文推翻）。</p>
<h1>1.2 M_ORN（ornith_1_5_35b_a3b）：本机不可跑</h1>
<p dir="auto">一句话结论：本机 16 GiB（可用 14.91 GiB）在任何上下文长度下都不可跑，因为权重本身需要 19.59 GiB / 制品文件 21.22 GiB，已超出整卡 15.996 GiB；KV 压到 2048、KV dtype 换 int8、打开 --wddm-evictable-budget 三条省钱手段叠加后，失败原文与数字零变化。</p>
]]></description><link>https://lcz.me/topic/2381</link><generator>RSS for Node</generator><lastBuildDate>Sun, 25 Oct 2026 04:49:55 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2381.rss" rel="self" type="application/rss+xml"/><pubDate>Sat, 17 Oct 2026 10:53:15 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 【实测】ThinkPad P1 Gen4-3080显卡：NInfer 长上下文测试报告摘要 on Sun, 18 Oct 2026 04:10:13 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a> <a href="/post/25622">说</a>:</p>
<p dir="auto">不错，非常小众的配置分享，你那表格不能让AI拆开成2-3个吗</p>
</blockquote>
<p dir="auto">行列转置了下，这样看起来顺眼多了。</p>
]]></description><link>https://lcz.me/post/25698</link><guid isPermaLink="true">https://lcz.me/post/25698</guid><dc:creator><![CDATA[PhilipShi2026]]></dc:creator><pubDate>Sun, 18 Oct 2026 04:10:13 GMT</pubDate></item><item><title><![CDATA[Reply to 【实测】ThinkPad P1 Gen4-3080显卡：NInfer 长上下文测试报告摘要 on Sat, 17 Oct 2026 17:53:26 GMT]]></title><description><![CDATA[<p dir="auto">不错，非常小众的配置分享，你那表格不能让AI拆开成2-3个吗</p>
]]></description><link>https://lcz.me/post/25622</link><guid isPermaLink="true">https://lcz.me/post/25622</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sat, 17 Oct 2026 17:53:26 GMT</pubDate></item><item><title><![CDATA[Reply to 【实测】ThinkPad P1 Gen4-3080显卡：NInfer 长上下文测试报告摘要 on Sat, 17 Oct 2026 11:10:34 GMT]]></title><description><![CDATA[<p dir="auto">Ninfer确实让qwen3.8-27b 可以用在老电脑上了~<br />
如有老款便携机，可以装上试试。</p>
]]></description><link>https://lcz.me/post/25504</link><guid isPermaLink="true">https://lcz.me/post/25504</guid><dc:creator><![CDATA[PhilipShi2026]]></dc:creator><pubDate>Sat, 17 Oct 2026 11:10:34 GMT</pubDate></item></channel></rss>