<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G，双卡跑 Strata 反而不如单卡，PCIe 3.0 x4 是瓶颈吗？有没有更好的优化方案？]]></title><description><![CDATA[<p dir="auto">标题<br />
求助：13700K + 4070TiS 16G + 5060Ti 16G，双卡 Strata 反而比单卡慢，PCIe x4 是瓶颈吗？<br />
正文<br />
最近在折腾 Strata 跑 Qwen3.8-Flash-Next IQ3_S，遇到一个问题，想请教一下论坛里的高手。<br />
目前配置：</p>
<ul>
<li>CPU：i7-13700K</li>
<li>主板：微星 Z690-A DDR4</li>
<li>显卡①：4070Ti SUPER 16G（CPU 直连 PCIe 4.0 x16）</li>
<li>显卡②：5060Ti 16G（芯片组 PCIe 3.0 x4）</li>
<li>内存：128GB DDR4-3200</li>
<li>硬盘：4 个 M.2 插槽全部占满<br />
目前遇到的问题：<br />
测试过 Strata 单卡、双卡 Layer Split、Helper 等模式，结果双卡虽然部分测试的 Decode 更快，但整体响应反而不如单卡。<br />
目前只能使用 4070Ti SUPER 单卡 + 13700K CPU 专家计算，5060Ti 基本闲置。<br />
之前固定输入测试：<br />
模式	Prefill	Decode<br />
单卡	1777 tok/s	59.5 tok/s<br />
双卡 Layer Split	397 tok/s	57 tok/s<br />
双卡 Helper	1077 tok/s	68 tok/s<br />
Helper + REO	—	82.5 tok/s</li>
</ul>
<p dir="auto">现在比较纠结的是：<br />
第二张 5060Ti 只有 PCIe 3.0 x4，实测传输带宽约 3.6GB/s，不知道是不是双卡效率低的主要原因。<br />
考虑过换 X570 ACE / UNIFY，配手里闲置的 5800X，实现 CPU 直连 PCIe 4.0 x8/x8。<br />
但这样又会损失 13700K 的 CPU 性能![替代文字]<br />
想请教大家：</p>
<ol>
<li>Strata 双卡性能差，PCIe 3.0 x4 是不是主要瓶颈？</li>
<li>换 X570 + 5800X，实现 CPU 直连 x8/x8，值得吗？会不会反而更慢？</li>
<li>不换主板的话，有没有办法更好地利用第二张 5060Ti？比如 Peer / Helper 优化，或者其他方案？<br />
主要追求实际推理速度和稳定性，不是单纯跑分。<br />
有没有类似配置的朋友分享一下经验？感谢！<br />
<img src="https://upload.lcz.me/uploads/e20d0aba-c995-4942-b136-ade820017d5d.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></li>
</ol>
]]></description><link>https://lcz.me/topic/2244</link><generator>RSS for Node</generator><lastBuildDate>Mon, 12 Oct 2026 13:29:00 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2244.rss" rel="self" type="application/rss+xml"/><pubDate>Sat, 10 Oct 2026 06:37:12 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G，双卡跑 Strata 反而不如单卡，PCIe 3.0 x4 是瓶颈吗？有没有更好的优化方案？ on Sun, 11 Oct 2026 00:03:34 GMT]]></title><description><![CDATA[<p dir="auto">补充几点，跟 <a class="plugin-mentions-user plugin-mentions-a" href="/user/stxpnet" aria-label="Profile: stxpnet">@<bdi>stxpnet</bdi></a> 上面的结论互补：</p>
<ol>
<li>
<p dir="auto">Layer Split 在你这套配置下基本没救：每个 token 的激活都要逐层过那条 3.6GB/s 的芯片组链路，等效带宽被最慢一环钳死，prefill 掉 78% 就是木桶效应。Helper + REO 的 82.5 t/s 已经是这套硬件的高点了，方向对了。</p>
</li>
<li>
<p dir="auto">换 X570 + 5800X 不值：x8/x8（~16GB/s）确实能救 Layer Split，但 Helper 模式下 decode 的天花板是 CPU 内存带宽（DDR4 双通道 ~50GB/s），两者打平；同时你拿 13700K 的 prefill 单核优势换成 5800X，反而更弱。</p>
</li>
<li>
<p dir="auto">别只把 5060Ti 当「第二段层」。它是 Blackwell、原生 NVFP4；4070TiS 是 Ada，没有。更划算的用法是当专用副卡：独立跑一个 NVFP4 量化模型 / 视觉 OCR·mmproj / 或当 MTP draft 卡，主卡专心 dense 推理。这些负载对芯片组 x4 不敏感，闲置就浪费了。</p>
</li>
<li>
<p dir="auto">对比用端到端 wall-clock，别信 Strata 后台那个 PCIe 读数（瞬时虚高）。固定同 prompt、同 ctx、同 batch，单卡 vs Helper+REO 各跑几轮取中位。</p>
</li>
</ol>
]]></description><link>https://lcz.me/post/23863</link><guid isPermaLink="true">https://lcz.me/post/23863</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Sun, 11 Oct 2026 00:03:34 GMT</pubDate></item><item><title><![CDATA[Reply to 【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G，双卡跑 Strata 反而不如单卡，PCIe 3.0 x4 是瓶颈吗？有没有更好的优化方案？ on Sat, 10 Oct 2026 09:54:42 GMT]]></title><description><![CDATA[<p dir="auto">升级前没法跑MOE的，双卡张量并行也不快，目前就是 MZ32-AR0+7B13+256G内存，我在github社区了解到的经验就是 双显卡尽量用同款，尽量用显卡的最大速度互联，有条件可以上NVLINK更快。</p>
]]></description><link>https://lcz.me/post/23766</link><guid isPermaLink="true">https://lcz.me/post/23766</guid><dc:creator><![CDATA[stxpnet]]></dc:creator><pubDate>Sat, 10 Oct 2026 09:54:42 GMT</pubDate></item><item><title><![CDATA[Reply to 【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G，双卡跑 Strata 反而不如单卡，PCIe 3.0 x4 是瓶颈吗？有没有更好的优化方案？ on Sat, 10 Oct 2026 09:25:48 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/stxpnet" aria-label="Profile: stxpnet">@<bdi>stxpnet</bdi></a> 我翻了你之前的帖子，看到你双 3090 从 PCIe 3.0 x8/x8 升级到了 PCIe 4.0 x16/x16，还研究过 ROMED8-2T 和 MZ32-AR0。<br />
想请教一下，你现在实际使用的 CPU 和主板具体是什么型号？是已经换成 EPYC 平台了吗？<br />
另外，升级 PCIe 后 Strata 的 Prefill 和 Decode 有没有明显提升？这个对我是否换主板很有参考价值，谢谢！</p>
]]></description><link>https://lcz.me/post/23760</link><guid isPermaLink="true">https://lcz.me/post/23760</guid><dc:creator><![CDATA[yang yang]]></dc:creator><pubDate>Sat, 10 Oct 2026 09:25:48 GMT</pubDate></item><item><title><![CDATA[Reply to 【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G，双卡跑 Strata 反而不如单卡，PCIe 3.0 x4 是瓶颈吗？有没有更好的优化方案？ on Sat, 10 Oct 2026 09:00:45 GMT]]></title><description><![CDATA[<h2>一、一句话结论</h2>
<p dir="auto"><strong>Layer Split 崩得难看，根因就是副卡 PCIe 3.0 x4（实测 3.6GB/s）；而 Helper + REO 已经是你配置下的正确答案，只是没调到底。</strong> 换 X570 + 5800X 不值，理由见下。</p>
<h2>二、你的数据说明了什么</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>模式</th>
<th>Prefill</th>
<th>Decode</th>
<th>诊断</th>
</tr>
</thead>
<tbody>
<tr>
<td>单卡 4070TiS</td>
<td>1777</td>
<td>59.5</td>
<td>基线：专家全在主卡+CPU，零跨链流量</td>
</tr>
<tr>
<td>双卡 Layer Split</td>
<td>397</td>
<td>57</td>
<td>两卡<strong>串行流水</strong>，每个 token 的激活都要跨链传一次，整条链被 3.6GB/s 钳死——典型木桶效应，prefill 掉 78%</td>
</tr>
<tr>
<td>双卡 Helper</td>
<td>1077</td>
<td>68</td>
<td>prefill 时冷专家权重经慢链路搬运，仍被拖；decode 已开始反超</td>
</tr>
<tr>
<td>Helper + REO</td>
<td>—</td>
<td>82.5</td>
<td>专家权重驻留副卡，decode <strong>+39%</strong>，唯一正收益，方向对了</td>
</tr>
</tbody>
</table>
<h2>三、瓶颈判定（按权重排序）</h2>
<ol>
<li><strong>Layer Split 模式下：PCIe 3.0 x4 是致命瓶颈</strong>。Layer Split 要求卡间激活逐层接力，等效带宽 = 慢的那条链，3.6GB/s 对比 Gen4 x16（我双 3090 实测单向 P2P ~23GB/s）差了近 7 倍。</li>
<li><strong>Helper 模式下：次要瓶颈变成 13700K + DDR4 双通道</strong>。冷专家 CPU 计算吃的是内存带宽，DDR4-3200 双通道 ~50GB/s，这是你 decode 的天花板。</li>
<li>副卡 5060Ti 本身算力不弱，16G 也够，问题全在"路窄"。</li>
</ol>
<h2>四、换 X570 + 5800X 值不值？——不值</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>对比项</th>
<th>13700K + Z690</th>
<th>5800X + X570 x8/x8</th>
</tr>
</thead>
<tbody>
<tr>
<td>双卡卡间带宽</td>
<td>3.6GB/s（芯片组）</td>
<td>~16GB/s（Gen4 x8 直连）<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2705.png?v=fe25256ab4a" class="not-responsive emoji emoji-android emoji--white_check_mark" style="height:1.4em;width:auto;vertical-align:middle" title="✅" alt="✅" /></td>
</tr>
<tr>
<td>内存带宽</td>
<td>~50GB/s</td>
<td>~50GB/s（同为双通道 DDR4）</td>
</tr>
<tr>
<td>单核/prefill</td>
<td>更强 <img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2705.png?v=fe25256ab4a" class="not-responsive emoji emoji-android emoji--white_check_mark" style="height:1.4em;width:auto;vertical-align:middle" title="✅" alt="✅" /></td>
<td>更弱</td>
</tr>
</tbody>
</table>
<p dir="auto">你的 decode 下限由<strong>CPU 内存带宽</strong>决定，两者打平；prefill 反而 13700K 更强。为了修一个已经能绕开的模式（Layer Split），牺牲整体 CPU 性能，不划算。</p>
<h2>五、不换主板的改善建议</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>优先级</th>
<th>措施</th>
<th>预期收益</th>
</tr>
</thead>
<tbody>
<tr>
<td>1</td>
<td>现役模式固定 <strong>Helper + REO</strong>，弃用 Layer Split</td>
<td>decode 已到 82.5</td>
</tr>
<tr>
<td>2</td>
<td>加大热专家数量、用 <code>-ot</code> 把 attention/共享层锁死在 4070TiS，让 CPU 只算最冷的专家</td>
<td>decode 继续↑</td>
</tr>
<tr>
<td>3</td>
<td>把尽量多的冷专家权重放进 5060Ti 的 16G（借副卡显存替 CPU 挡专家），REO 保证命中率</td>
<td>释放 CPU 内存带宽</td>
</tr>
<tr>
<td>4</td>
<td>按<strong>输入长度切模式</strong>：短输入聊天/代码用双卡 Helper+REO（decode 快 39%），长文档重 prefill 场景切单卡（prefill 快 65%），写个一键切换脚本</td>
<td>总响应时间最优</td>
</tr>
<tr>
<td>5</td>
<td>内存条件允许时量化升档 IQ3_S→IQ4_XS：专家计算量不变、质量更好；若 CPU 侧放不下则维持现状</td>
<td>质量↑</td>
</tr>
</tbody>
</table>
<h2>六、 补充说明</h2>
<p dir="auto">我双 3090 走的是 Gen4 x16/x16 直连，后台那个瞬时 22~40GB/s 确实虚高（仪表统计含重复计数），实测单向 P2P 23GB/s、双向 35GB/s 才是真实值。<br />
楼主副卡 3.6GB/s 只有这套链路的 1/7，所以我的 Layer Split 能跑、他的跑不动——<strong>同引擎，链路带宽决定模式选择</strong>：链路差就坚定走 Helper + REO，别恋战 Layer Split。</p>
<p dir="auto">我让GLM 5.1 flash分析的。</p>
]]></description><link>https://lcz.me/post/23754</link><guid isPermaLink="true">https://lcz.me/post/23754</guid><dc:creator><![CDATA[stxpnet]]></dc:creator><pubDate>Sat, 10 Oct 2026 09:00:45 GMT</pubDate></item><item><title><![CDATA[Reply to 【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G，双卡跑 Strata 反而不如单卡，PCIe 3.0 x4 是瓶颈吗？有没有更好的优化方案？ on Sat, 10 Oct 2026 07:55:37 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/stxpnet" aria-label="Profile: stxpnet">@<bdi>stxpnet</bdi></a> 感谢回复！我用的是 13700K + 微星 Z690-A DDR4。<br />
目前 4070Ti SUPER 走 CPU 直连 PCIe 4.0 x16，5060Ti 走 Z690 芯片组 PCIe 3.0 x4，实测副卡 H2D 带宽只有约 3.6GB/s。<br />
13700K 的 20 条 CPU 直连通道是显卡 16 条 + NVMe 4 条，我这块主板不支持把显卡通道拆成 x8/x8，所以副卡只能走芯片组。<br />
之前测试 Strata 双卡 Layer Split，Prefill 反而比单卡慢很多，Helper 模式 Decode 有提升，但整体耗时还是单卡更快。<br />
想请教一下，你双 3090 用的是什么 CPU 和主板？Strata 是 Layer Split 还是 Peer/Helper 模式？<br />
另外，你提到的 PCIe 40GB/s 是 Strata 后台统计值，还是实际测出来的 P2P 带宽？<br />
我主要想判断副卡走芯片组 x4，是不是造成双卡性能下降的主要原因。</p>
]]></description><link>https://lcz.me/post/23741</link><guid isPermaLink="true">https://lcz.me/post/23741</guid><dc:creator><![CDATA[yang yang]]></dc:creator><pubDate>Sat, 10 Oct 2026 07:55:37 GMT</pubDate></item><item><title><![CDATA[Reply to 【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G，双卡跑 Strata 反而不如单卡，PCIe 3.0 x4 是瓶颈吗？有没有更好的优化方案？ on Sat, 10 Oct 2026 06:46:29 GMT]]></title><description><![CDATA[<p dir="auto">不用开5070ti 即可 除非你要搞NVFP4。16GB夠用了。最好不要放ChipSet PCI. 內存要CPU转到显卡上比较快。</p>
]]></description><link>https://lcz.me/post/23728</link><guid isPermaLink="true">https://lcz.me/post/23728</guid><dc:creator><![CDATA[AresROC]]></dc:creator><pubDate>Sat, 10 Oct 2026 06:46:29 GMT</pubDate></item><item><title><![CDATA[Reply to 【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G，双卡跑 Strata 反而不如单卡，PCIe 3.0 x4 是瓶颈吗？有没有更好的优化方案？ on Sat, 10 Oct 2026 06:42:14 GMT]]></title><description><![CDATA[<p dir="auto">应该是，我是双卡3090。 有时候我观察它的后台，PCIE4.0那里瞬时最高能冲到22G/S甚至40多G/S。<br />
而我开机未加载模型的时候测试，单向P2P带宽是23G，双向35G。 它那个图表的数值不太准确，有虚高。  另外消费级CPU似乎只有20条PCIE通道，你如何分配？</p>
]]></description><link>https://lcz.me/post/23726</link><guid isPermaLink="true">https://lcz.me/post/23726</guid><dc:creator><![CDATA[stxpnet]]></dc:creator><pubDate>Sat, 10 Oct 2026 06:42:14 GMT</pubDate></item></channel></rss>