@stxpnet 我翻了你之前的帖子,看到你双 3090 从 PCIe 3.0 x8/x8 升级到了 PCIe 4.0 x16/x16,还研究过 ROMED8-2T 和 MZ32-AR0。
想请教一下,你现在实际使用的 CPU 和主板具体是什么型号?是已经换成 EPYC 平台了吗?
另外,升级 PCIe 后 Strata 的 Prefill 和 Decode 有没有明显提升?这个对我是否换主板很有参考价值,谢谢!
yang yang
-
【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G,双卡跑 Strata 反而不如单卡,PCIe 3.0 x4 是瓶颈吗?有没有更好的优化方案? -
【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G,双卡跑 Strata 反而不如单卡,PCIe 3.0 x4 是瓶颈吗?有没有更好的优化方案?@stxpnet 感谢回复!我用的是 13700K + 微星 Z690-A DDR4。
目前 4070Ti SUPER 走 CPU 直连 PCIe 4.0 x16,5060Ti 走 Z690 芯片组 PCIe 3.0 x4,实测副卡 H2D 带宽只有约 3.6GB/s。
13700K 的 20 条 CPU 直连通道是显卡 16 条 + NVMe 4 条,我这块主板不支持把显卡通道拆成 x8/x8,所以副卡只能走芯片组。
之前测试 Strata 双卡 Layer Split,Prefill 反而比单卡慢很多,Helper 模式 Decode 有提升,但整体耗时还是单卡更快。
想请教一下,你双 3090 用的是什么 CPU 和主板?Strata 是 Layer Split 还是 Peer/Helper 模式?
另外,你提到的 PCIe 40GB/s 是 Strata 后台统计值,还是实际测出来的 P2P 带宽?
我主要想判断副卡走芯片组 x4,是不是造成双卡性能下降的主要原因。 -
【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G,双卡跑 Strata 反而不如单卡,PCIe 3.0 x4 是瓶颈吗?有没有更好的优化方案?标题
求助:13700K + 4070TiS 16G + 5060Ti 16G,双卡 Strata 反而比单卡慢,PCIe x4 是瓶颈吗?
正文
最近在折腾 Strata 跑 Qwen3.8-Flash-Next IQ3_S,遇到一个问题,想请教一下论坛里的高手。
目前配置:- CPU:i7-13700K
- 主板:微星 Z690-A DDR4
- 显卡①:4070Ti SUPER 16G(CPU 直连 PCIe 4.0 x16)
- 显卡②:5060Ti 16G(芯片组 PCIe 3.0 x4)
- 内存:128GB DDR4-3200
- 硬盘:4 个 M.2 插槽全部占满
目前遇到的问题:
测试过 Strata 单卡、双卡 Layer Split、Helper 等模式,结果双卡虽然部分测试的 Decode 更快,但整体响应反而不如单卡。
目前只能使用 4070Ti SUPER 单卡 + 13700K CPU 专家计算,5060Ti 基本闲置。
之前固定输入测试:
模式 Prefill Decode
单卡 1777 tok/s 59.5 tok/s
双卡 Layer Split 397 tok/s 57 tok/s
双卡 Helper 1077 tok/s 68 tok/s
Helper + REO — 82.5 tok/s
现在比较纠结的是:
第二张 5060Ti 只有 PCIe 3.0 x4,实测传输带宽约 3.6GB/s,不知道是不是双卡效率低的主要原因。
考虑过换 X570 ACE / UNIFY,配手里闲置的 5800X,实现 CPU 直连 PCIe 4.0 x8/x8。
但这样又会损失 13700K 的 CPU 性能![替代文字]
想请教大家:- Strata 双卡性能差,PCIe 3.0 x4 是不是主要瓶颈?
- 换 X570 + 5800X,实现 CPU 直连 x8/x8,值得吗?会不会反而更慢?
- 不换主板的话,有没有办法更好地利用第二张 5060Ti?比如 Peer / Helper 优化,或者其他方案?
主要追求实际推理速度和稳定性,不是单纯跑分。
有没有类似配置的朋友分享一下经验?感谢!
