<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[双7900 XTX 对战单卡 5090：Strata 从 4K 跑到 262K，长上下文成绩有点意外！]]></title><description><![CDATA[<p dir="auto"><img src="https://upload.lcz.me/uploads/eec1b351-7f1f-4dde-98f6-76bc1ef410fa.png" alt="00-cover-under-1mb.png" class="img-markdown  img-fluid" /></p>
<p dir="auto">我这台主机用的是 <strong>Ryzen 5 7500F＋双 RX 7900 XTX</strong>。这次想弄明白：用 Strata 跑 IQ3_S，这套机器和公开的 <strong>9700X＋RTX 5090</strong> 主机相比，实际处在什么位置？</p>
<p dir="auto">之前看过不少“几千 token/s”的成绩，但提示长度、缓存和测试方法不一样，直接摆在一起容易误判。这次我找到了 Strata 仓库里一份 <strong>RTX 5090 + Ryzen 7 9700X 的 IQ3_S 社区报告</strong>，照着它附带的脚本，在双 7900 XTX 上重新跑了一遍四档速度测试。</p>
<p dir="auto">结果先放前面：<strong>128,000 token 输入时，我这台双 7900 XTX 的 prefill 中位数为 4,880 token/s，约为那份 5090 报告的 84.1%。</strong> 32K 的比例为 60.9%，4K 为 53.2%；接近 262K 时为 78.5%，但波动明显增大。吐字速度的差距也比长上下文 prefill 大得多。</p>
<p dir="auto">标题里的“84%”，限定的是<strong>7500F＋双 7900 XTX 这套主机，在 128K prefill 测试中的成绩，占公开的 9700X＋5090 主机成绩的比例</strong>。两边 CPU、GPU 数量、软件版本和参数都有差异，下面先把这些条件摆在一起。</p>
<p dir="auto">对照来源：<a href="https://github.com/Niko1221/Strata/blob/main/bench/results/2026-10-05-community-rtx-5090-9700x-iq3s/README.md" rel="nofollow ugc">Strata 社区 RTX 5090 / 9700X / IQ3_S 测试报告</a>。5090 数据来自这份公开记录，双 7900 XTX 数据为本机 2026 年 10 月 24 日实测。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/3dab7710-9001-4636-8d81-84ecc826539b.png" alt="04-platform-comparison.png" class="img-markdown  img-fluid" /></p>
<p dir="auto">两边机器的基本情况如下：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项目</th>
<th>我的双 7900 XTX 主机</th>
<th>5090 社区报告</th>
</tr>
</thead>
<tbody>
<tr>
<td>GPU</td>
<td>RX 7900 XTX × 2，每张 24GB</td>
<td>RTX 5090 × 1，32GB 级显存</td>
</tr>
<tr>
<td>CPU</td>
<td>Ryzen 5 7500F，6 核 12 线程</td>
<td>Ryzen 7 9700X，8 核 16 线程</td>
</tr>
<tr>
<td>CPU 架构</td>
<td>Zen 4</td>
<td>Zen 5</td>
</tr>
<tr>
<td>系统可用物理内存</td>
<td>约 93.9 GiB</td>
<td>约 93.7 GiB</td>
</tr>
<tr>
<td>系统 / 后端</td>
<td>Ubuntu 24.04 / HIP</td>
<td>Windows / CUDA</td>
</tr>
<tr>
<td>Strata</td>
<td><strong>0.1.45，本次保持原版本</strong></td>
<td>0.1.39</td>
</tr>
<tr>
<td>模型</td>
<td>Qwen3.8-Flash-Next-GSQ-RCO IQ3_S</td>
<td>同型号 IQ3_S</td>
</tr>
<tr>
<td>本次上下文上限</td>
<td>262,144</td>
<td>262,144</td>
</tr>
<tr>
<td>运行方式</td>
<td>单个请求顺序执行</td>
<td>单个请求顺序执行</td>
</tr>
<tr>
<td>Prefill 参数</td>
<td>10240，使用本机调优表</td>
<td>auto</td>
</tr>
<tr>
<td>KV / 常驻 token 数</td>
<td>int8 / 20480</td>
<td>int8 / 32768</td>
</tr>
<tr>
<td>推测解码</td>
<td>spec=3，加载 MTP，suffix-draft=4</td>
<td>请求 spec=4，报告启动时有效 spec=6，启用 MTP 和 prompt lookup</td>
</tr>
<tr>
<td>服务槽位</td>
<td>1</td>
<td>2（本次对照请求仍串行）</td>
</tr>
</tbody>
</table>
<p dir="auto">CPU 的差别需要单独说明。按 AMD 官方规格，7500F 是 <strong>Zen 4、6 核 12 线程</strong>，9700X 是 <strong>Zen 5、8 核 16 线程</strong>。规格来源：<a href="https://www.amd.com/en/products/processors/desktops/ryzen/7000-series/amd-ryzen-5-7500f.html" rel="nofollow ugc">7500F 官方页面</a>、<a href="https://ir.amd.com/news-events/press-releases/detail/1202/amd-unveils-next-gen-zen-5-ryzen-processors-to-power-advanced-ai-experiences" rel="nofollow ugc">AMD Ryzen 9000 发布资料</a>。</p>
<p dir="auto">在 Strata 这类涉及主机端调度、系统内存和 GPU 数据传输的负载里，CPU 与平台条件可能影响整机成绩。9700X 的核心数更多、架构更新，CPU 侧处理可能更有余量；但本次没有记录足够的 CPU 阶段耗时，也没有做同机换 CPU 的测试，所以<strong>尚不能确认 7500F 是否构成本次瓶颈，更不能算出换成 9700X 会快多少</strong>。核心数多约三分之一，也不能换算成 Strata 快约三分之一。</p>
<p dir="auto">双卡是每张各有 24GB 显存，通过 layer split 分配工作。这个模型还涉及专家缓存、系统内存和数据传输。因此，本帖比较的是“7500F＋双 7900 XTX＋Strata 0.1.45”和“9700X＋5090＋Strata 0.1.39”两套实际系统。84.1% 这个比例没有做 CPU 性能校正，也没有足够依据进行这种校正。</p>
<p dir="auto"><strong>这次具体怎么测？</strong></p>
<p dir="auto">我使用了对照报告提供的 <code>benchmark.py</code>。本机副本仅为 localhost 请求绕过代理，提示词生成逻辑和统计口径保持原样：模型加载完成后做一次短请求预热，然后依次测试 <strong>4,096、32,768、128,000、261,880 tokens</strong>，每档三次，不在各轮之间额外冷却。</p>
<p dir="auto">提示词是一大段合成 Python 函数，再要求模型解释代码。每次提示开头有不同 nonce；提交前用本机 tokenizer 和聊天模板计数，再核对引擎记录。12 次正式请求的输入长度都与目标相符，<code>reused = 0</code>，并且全部生成到 <strong>256 tokens 上限</strong>，结束原因为 <code>length</code>。</p>
<p dir="auto">请求参数为 <code>temperature=0</code>、<code>reasoning_effort=none</code>、<code>max_tokens=256</code>，使用流式输出。统计方式也与对照报告一致：</p>
<pre><code class="language-text">Prefill = 本次新读取的输入 token 数 ÷ prompt_ms × 1000
Decode  = engine_generated ÷ decode_ms × 1000
TTFT    = 客户端提交请求到收到首个流式内容 token 的时间
</code></pre>
<p dir="auto">表格统一使用三次中位数，括号保留最小值和最大值。模型装载时间不计入吞吐量。这里没有进行针测召回或答案质量测试，因此速度结果不代表长文本理解或编程质量。</p>
<p dir="auto"><strong>先看最关心的 prefill。</strong></p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/d0af46df-0e9a-403e-9d6b-40d2d0a0eb7b.png" alt="01-prefill-comparison.png" class="img-markdown  img-fluid" /></p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>实际输入 tokens</th>
<th style="text-align:right">7500F＋双 7900 XTX，token/s</th>
<th style="text-align:right">9700X＋5090，token/s</th>
<th style="text-align:right">本机 / 对照主机</th>
</tr>
</thead>
<tbody>
<tr>
<td>4,096</td>
<td style="text-align:right"><strong>1,635</strong>（1,500–1,639）</td>
<td style="text-align:right">3,072（3,056–3,080）</td>
<td style="text-align:right">53.2%</td>
</tr>
<tr>
<td>32,768</td>
<td style="text-align:right"><strong>3,634</strong>（3,633–3,641）</td>
<td style="text-align:right">5,963（5,925–5,973）</td>
<td style="text-align:right">60.9%</td>
</tr>
<tr>
<td>128,000</td>
<td style="text-align:right"><strong>4,880</strong>（4,822–4,906）</td>
<td style="text-align:right">5,803（5,794–5,914）</td>
<td style="text-align:right"><strong>84.1%</strong></td>
</tr>
<tr>
<td>261,880</td>
<td style="text-align:right"><strong>4,344</strong>（3,389–4,817）</td>
<td style="text-align:right">5,535（5,522–5,600）</td>
<td style="text-align:right">78.5%</td>
</tr>
</tbody>
</table>
<p dir="auto">图中的柱子是中位数，白色误差线表示三次的完整范围。比例用未取整的本机中位数计算。</p>
<p dir="auto">最符合我预期用途的是 128K 这一档：三轮都在 4,822–4,906 token/s，结果比较集中。相比短提示，这套双卡配置在长输入下与那份 5090 报告的相对差距明显缩小。</p>
<p dir="auto">但它并没有稳定突破 5,000 token/s。这次最高的一轮约为 4,906，不能把标题写成“128K 稳定 5000+”。而且从 4K 到 128K 的成绩变化，也不能直接推导为“上下文开得越大，速度就越快”；这里每一档改变的是实际输入长度，完整四档测试都在同一个 262,144 上限下完成。</p>
<p dir="auto"><strong>读完输入有多快，和随后吐字有多快，是两件都要看的事。</strong></p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/ab035812-84d8-4b09-869b-20c6a42b43aa.png" alt="02-decode-and-ttft.png" class="img-markdown  img-fluid" /></p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>输入 tokens</th>
<th style="text-align:right">双卡 Decode，token/s</th>
<th style="text-align:right">5090 Decode，token/s</th>
<th style="text-align:right">双卡 TTFT，秒</th>
<th style="text-align:right">5090 TTFT，秒</th>
</tr>
</thead>
<tbody>
<tr>
<td>4,096</td>
<td style="text-align:right">56.8</td>
<td style="text-align:right">164.3</td>
<td style="text-align:right">2.54</td>
<td style="text-align:right">1.36</td>
</tr>
<tr>
<td>32,768</td>
<td style="text-align:right">51.4</td>
<td style="text-align:right">161.3</td>
<td style="text-align:right">9.06</td>
<td style="text-align:right">5.55</td>
</tr>
<tr>
<td>128,000</td>
<td style="text-align:right">53.9</td>
<td style="text-align:right">168.4</td>
<td style="text-align:right">26.31</td>
<td style="text-align:right">22.25</td>
</tr>
<tr>
<td>261,880</td>
<td style="text-align:right">49.2</td>
<td style="text-align:right">170.5</td>
<td style="text-align:right">60.43</td>
<td style="text-align:right">47.67</td>
</tr>
</tbody>
</table>
<p dir="auto">都是三次中位数。比如 128K 时，我这台机器的首字等待约 26.31 秒，对照报告为 22.25 秒，相差约 4.06 秒；但开始输出后，双卡约 53.9 token/s，对方约 168.4 token/s，差距仍然很大。</p>
<p dir="auto">所以，如果我主要关心把一大段代码或资料读进去的速度，128K prefill 的成绩对我有参考价值。如果经常需要生成很长的回答，就要把 Decode 一起看。两边还启用了不同的推测解码配置，因此这组吐字差距包含软件参数带来的影响。</p>
<p dir="auto"><strong>接近满窗口的三轮，不能只挑最好看的一次。</strong></p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/3f914194-3790-445e-a069-7efaa6007f71.png" alt="03-full-context-variability.png" class="img-markdown  img-fluid" /></p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>261,880 tokens</th>
<th style="text-align:right">Prefill，token/s</th>
<th style="text-align:right">Decode，token/s</th>
<th style="text-align:right">TTFT，秒</th>
</tr>
</thead>
<tbody>
<tr>
<td>第 1 次</td>
<td style="text-align:right">4,817</td>
<td style="text-align:right">52.2</td>
<td style="text-align:right">54.51</td>
</tr>
<tr>
<td>第 2 次</td>
<td style="text-align:right">4,344</td>
<td style="text-align:right">49.2</td>
<td style="text-align:right">60.43</td>
</tr>
<tr>
<td>第 3 次</td>
<td style="text-align:right">3,389</td>
<td style="text-align:right">15.8</td>
<td style="text-align:right">77.42</td>
</tr>
</tbody>
</table>
<p dir="auto">第三次连吐字也明显下降了。我保留这轮，没有删掉后用最好成绩去比。按约定的中位数是 4,344 token/s；但从这三次结果看，接近满窗口时的稳定性确实没有 128K 那么好。</p>
<p dir="auto">这次基准脚本原带的监控只采集 NVIDIA 遥测，在 AMD 主机上没有留下有效的 GPU 功耗、频率记录。所以我目前不能把第三轮变慢归因于温度、显存迁移、系统内存压力或某个内核路径，需要进一步监控才能确定原因。</p>
<p dir="auto"><strong>想复现的朋友，可以先参考本机这套配置。</strong></p>
<p dir="auto">双卡 layer split 为 <code>24</code>，使用两张卡，线程设置为 <code>8</code>。模型、PLE 和 MTP 路径按本机实际文件填写，主要参数如下：</p>
<pre><code class="language-text">--expert-cache auto
--prefill 10240
--spec 3
--spec-min-p 0.5
--max-context 262144
--kv int8
--kv-resident 20480
--suffix-draft 4
--vram-reserve-mib 704
--pipeline-windows 2
--layer-split 24
</code></pre>
<p dir="auto">同时加载本机的 expert profile 和 MTP 文件。环境变量如下：</p>
<pre><code class="language-text">STRATA_STAGE_TRIM=1
STRATA_PCIE_AUTO_SPLIT=1
STRATA_PF_FUSED=1
STRATA_PF_GEMM=1
STRATA_GDN_CHUNKED=1
STRATA_HIP_WMMA=1
STRATA_SCORES_THREAD=1
STRATA_SELECT_SIMT=1
</code></pre>
<p dir="auto">此外还设置了 <code>STRATA_HIPBLASLT_TUNING</code>，指向本机为 gfx1100 / prefill 10240 保存的调优表。这意味着，上面的命令参数还不足以保证在另一台机器上复现完全相同的数字；配套文件、双卡连接与硬件条件都要记录。测试后我已经恢复日常使用的 131,072 上下文配置。</p>
<p dir="auto">最后再说明比较范围：这次对齐的是<strong>基准请求流程</strong>。我的 Strata 是 0.1.45，5090 报告是 0.1.39；平台、CPU、GPU 数量和参数也有差异，例如本机 <code>prefill=10240 / kv-resident=20480 / spec=3</code>，对照报告为 <code>prefill=auto / kv-resident=32768</code>，推测解码设置亦不同。模型文件同属 IQ3_S 且两片文件大小相符，但没有进一步核对 revision 与文件哈希。</p>
<p dir="auto">因此我愿意用这次结果回答：“我的 7500F＋双 7900 XTX 主机在这个 Strata IQ3_S 长输入测试里处在什么位置？”——128K prefill 约为那台 9700X＋5090 主机公开成绩的 84%，短输入与吐字仍有明显差距，满窗口还存在值得继续排查的波动。至于购买性价比、功耗效率和所有任务的综合性能，这次数据还回答不了。</p>
<p dir="auto">如果论坛里还有 <strong>同模型 IQ3_S、同一脚本</strong>的其他显卡结果，欢迎贴上版本、配置和三轮原始数据，尤其想看看更多双 7900 XTX 或新版 Strata 下的 5090 成绩。</p>
]]></description><link>https://lcz.me/topic/2550</link><generator>RSS for Node</generator><lastBuildDate>Sun, 25 Oct 2026 00:03:46 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2550.rss" rel="self" type="application/rss+xml"/><pubDate>Sat, 24 Oct 2026 09:21:11 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 双7900 XTX 对战单卡 5090：Strata 从 4K 跑到 262K，长上下文成绩有点意外！ on Sat, 24 Oct 2026 16:25:45 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/imbiplaza-asus" aria-label="Profile: imbiplaza-ASUS">@<bdi>imbiplaza-ASUS</bdi></a> 我也觉得有这个方面的问题，先将就用，暂时不换U，可能会损失些性能</p>
]]></description><link>https://lcz.me/post/27449</link><guid isPermaLink="true">https://lcz.me/post/27449</guid><dc:creator><![CDATA[懒人烘培]]></dc:creator><pubDate>Sat, 24 Oct 2026 16:25:45 GMT</pubDate></item><item><title><![CDATA[Reply to 双7900 XTX 对战单卡 5090：Strata 从 4K 跑到 262K，长上下文成绩有点意外！ on Sat, 24 Oct 2026 16:24:35 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/hackner-weinland" aria-label="Profile: Hackner-Weinland">@<bdi>Hackner-Weinland</bdi></a> 如果prefill接近5000，吐字速度就慢，另外一版参数测试prefill为3223，吐字大概有70-80tok/s</p>
]]></description><link>https://lcz.me/post/27448</link><guid isPermaLink="true">https://lcz.me/post/27448</guid><dc:creator><![CDATA[懒人烘培]]></dc:creator><pubDate>Sat, 24 Oct 2026 16:24:35 GMT</pubDate></item><item><title><![CDATA[Reply to 双7900 XTX 对战单卡 5090：Strata 从 4K 跑到 262K，长上下文成绩有点意外！ on Sat, 24 Oct 2026 16:23:19 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/johnnybegood" aria-label="Profile: johnnybegood">@<bdi>johnnybegood</bdi></a> 反复调试参数后，如果prefill接近5000，吐字速度就慢，反复设置，确实这个方面要差些</p>
]]></description><link>https://lcz.me/post/27447</link><guid isPermaLink="true">https://lcz.me/post/27447</guid><dc:creator><![CDATA[懒人烘培]]></dc:creator><pubDate>Sat, 24 Oct 2026 16:23:19 GMT</pubDate></item><item><title><![CDATA[Reply to 双7900 XTX 对战单卡 5090：Strata 从 4K 跑到 262K，长上下文成绩有点意外！ on Sat, 24 Oct 2026 15:39:35 GMT]]></title><description><![CDATA[<p dir="auto">prefill这么猛，decode又这么弱，感觉不太正常</p>
]]></description><link>https://lcz.me/post/27425</link><guid isPermaLink="true">https://lcz.me/post/27425</guid><dc:creator><![CDATA[Hackner Weinland]]></dc:creator><pubDate>Sat, 24 Oct 2026 15:39:35 GMT</pubDate></item><item><title><![CDATA[Reply to 双7900 XTX 对战单卡 5090：Strata 从 4K 跑到 262K，长上下文成绩有点意外！ on Sat, 24 Oct 2026 15:27:40 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/%E6%87%92%E4%BA%BA%E7%83%98%E5%9F%B9" aria-label="Profile: 懒人烘培">@<bdi>懒人烘培</bdi></a> 话说 ， strata每个版本之间差很多， 0.1.39 太落后了， 另外我的实测是， windows跟 linux也差出好多， 我IQ4 的在windows下平均 80tok/s， 但是到了 ubuntu下面平均能到95tok/s  . 双 7900xtx 吐字才50多不太对劲， 看着是不是mtp都没有命中</p>
]]></description><link>https://lcz.me/post/27418</link><guid isPermaLink="true">https://lcz.me/post/27418</guid><dc:creator><![CDATA[johnnybegood]]></dc:creator><pubDate>Sat, 24 Oct 2026 15:27:40 GMT</pubDate></item><item><title><![CDATA[Reply to 双7900 XTX 对战单卡 5090：Strata 从 4K 跑到 262K，长上下文成绩有点意外！ on Sat, 24 Oct 2026 14:53:10 GMT]]></title><description><![CDATA[<p dir="auto">双7900 XTX 贴个 Strata 后台吧 2卡才 50K/s好像有点慢啊</p>
]]></description><link>https://lcz.me/post/27400</link><guid isPermaLink="true">https://lcz.me/post/27400</guid><dc:creator><![CDATA[gao Gao]]></dc:creator><pubDate>Sat, 24 Oct 2026 14:53:10 GMT</pubDate></item><item><title><![CDATA[Reply to 双7900 XTX 对战单卡 5090：Strata 从 4K 跑到 262K，长上下文成绩有点意外！ on Sat, 24 Oct 2026 14:32:44 GMT]]></title><description><![CDATA[<p dir="auto">6核心的确喂不饱 7900xtx...<br />
长时间几乎满载</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/4aa9d009-8926-42e1-9848-e240766aaace.png" alt="Screenshot 2026-10-24 154145.png" class="img-markdown  img-fluid" /></p>
]]></description><link>https://lcz.me/post/27395</link><guid isPermaLink="true">https://lcz.me/post/27395</guid><dc:creator><![CDATA[imbiplaza ASUS]]></dc:creator><pubDate>Sat, 24 Oct 2026 14:32:44 GMT</pubDate></item></channel></rss>