<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[7900 XTX 一张卡跑 Qwen3.8flash ：prefill 3600 t/s 不衰减，decode 破 100,峰值 120t/s]]></title><description><![CDATA[<h1>7900 XTX 一张卡跑 Qwen3.8flash ：prefill 3600 t/s 不衰减，decode 破 100,峰值 120t/s</h1>
<p dir="auto">数据取自两轮全冷扫参。峰值 prefill 3605.5，峰值 decode 101.7，196697 token 冷启动 57.49 秒。</p>
<h2>环境</h2>
<ul>
<li>GPU：AMD RX 7900 XTX（gfx1100 / RDNA3），显存占用 23.8 GiB，99.2%</li>
<li>CPU：Intel Xeon E5-2678 v3 @ 2.50 GHz（12C/24T，无 AVX-512）</li>
<li>内存：125.6 GiB，可用 27.3 GiB</li>
<li>系统：Ubuntu，内核 7.0.0-34-generic</li>
<li>引擎：Avalon（llama.cpp 分支），commit 762a3dae</li>
<li>模型：Qwen3.8-Flash-Next，IQ3_KS 33 分片共 94 GB</li>
<li>MTP 草稿：zh65k 共享层 IQ3K + IQ4NL</li>
<li>视觉塔：CPU</li>
<li>关键参数：ctx 262144，KV q8_0，batch 32768，ubatch 32768，RAM cache 16384 MiB</li>
</ul>
<h2>方法</h2>
<ul>
<li>合成唯一文本，每档全冷重算，缓存命中率 0</li>
<li>两轮相隔 35 分钟，同一个 server 进程，不重启</li>
</ul>
<h2>总表：两轮全冷扫参，同一进程</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>上下文</th>
<th>一轮 prefill</th>
<th>二轮 prefill</th>
<th>一轮 decode</th>
<th>接受率</th>
</tr>
</thead>
<tbody>
<tr>
<td>1.8k</td>
<td>-</td>
<td>608.7 (2.97s)</td>
<td>-</td>
<td>-</td>
</tr>
<tr>
<td>8k</td>
<td>2082.7</td>
<td>2618.8</td>
<td>100.0</td>
<td>97%</td>
</tr>
<tr>
<td>16k</td>
<td>3063.3</td>
<td>-</td>
<td>98.8</td>
<td>96%</td>
</tr>
<tr>
<td>32k</td>
<td>3605.5</td>
<td>3437.6 (9.54s)</td>
<td>101.7</td>
<td>93%</td>
</tr>
<tr>
<td>64k</td>
<td>3600.5</td>
<td>3529.9 (18.58s)</td>
<td>99.7</td>
<td>90%</td>
</tr>
<tr>
<td>96k</td>
<td>3461.9</td>
<td>3536.2 (27.81s)</td>
<td>88.1</td>
<td>88%</td>
</tr>
<tr>
<td>128k</td>
<td>3514.3</td>
<td>3479.9 (37.68s)</td>
<td>85.0</td>
<td>80%</td>
</tr>
<tr>
<td>161k</td>
<td>3477.3</td>
<td>-</td>
<td>86.6</td>
<td>85%</td>
</tr>
<tr>
<td>196k</td>
<td>-</td>
<td>3421.5 (57.49s)</td>
<td>-</td>
<td>-</td>
</tr>
</tbody>
</table>
<p dir="auto">单位都是 t/s。一轮 18:30 输出 256；二轮 19:05 输出 51。</p>
<ul>
<li>二轮输出只有 51 token，短输出开销主导，解码不可比，所以解码与接受率只有一轮</li>
<li>真实 prompt token 一轮：7,732 / 15,621 / 31,376 / 63,907 / 96,432 / 128,992 / 161,520</li>
<li>真实 prompt token 二轮：1,805 / 7,765 / 32,797 / 65,577 / 98,357 / 131,137 / 196,697</li>
<li>同规模两轮差在 5% 内。196k 冷算 57.5 秒跑完，无卡死，无分配失败</li>
<li>真实流量长输出的解码：20k 以下 96 到 100，100k 到 132k 约 92.5，160k 以上约 84.4</li>
</ul>
<h2>前缀复用</h2>
<ul>
<li>warm 轮只评估 4 个新 token</li>
<li>整轮墙钟 2.3 到 2.8 s，与上下文长度无关</li>
<li>161k 上下文和 8k 上下文一样快</li>
</ul>
<h2>结论</h2>
<ol>
<li>32k 以上 prefill 基本持平，3420 到 3606，不随上下文衰减</li>
<li>约 2.9 s 的固定冷算开销，1.8k 档只有 609 t/s 就是被它拉低</li>
<li>瓶颈全在 prefill，解码在 100k 以上只是接受率下降</li>
</ol>
<h2>别误读</h2>
<ul>
<li>合成文本是上界。真实文本同进程口径：35k 是 2826.6，114k 是 2197.9</li>
<li>重启后第一条大 prompt 明显更慢，专家缓存未热</li>
<li>每档一个样本，不重复。251k 故意没测</li>
</ul>
]]></description><link>https://lcz.me/topic/3183</link><generator>RSS for Node</generator><lastBuildDate>Thu, 19 Nov 2026 00:16:29 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/3183.rss" rel="self" type="application/rss+xml"/><pubDate>Wed, 18 Nov 2026 12:35:56 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 7900 XTX 一张卡跑 Qwen3.8flash ：prefill 3600 t/s 不衰减，decode 破 100,峰值 120t/s on Wed, 18 Nov 2026 12:38:16 GMT]]></title><description><![CDATA[<p dir="auto"><img src="https://upload.lcz.me/uploads/a997643a-0772-4af3-938a-b2f47f4531c7.jpg" alt="Screenshot_2026-11-18-20-24-49-59_82b10d9f3584360f08225ddcebbb4f6d.jpg" class="img-markdown  img-fluid" /><br />
<img src="https://upload.lcz.me/uploads/cd694607-5bca-4693-9fc1-0a252df9c558.jpg" alt="Screenshot_2026-11-18-20-13-25-80_82b10d9f3584360f08225ddcebbb4f6d.jpg" class="img-markdown  img-fluid" /></p>
]]></description><link>https://lcz.me/post/34404</link><guid isPermaLink="true">https://lcz.me/post/34404</guid><dc:creator><![CDATA[naniandemeng]]></dc:creator><pubDate>Wed, 18 Nov 2026 12:38:16 GMT</pubDate></item></channel></rss>