跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
yang yangY

yang yang

@yang yang
取消关注 关注
关于
帖子
3
主题
1
分享
0
群组
0
粉丝
0
关注
1

帖子

最新 最佳 有争议的

  • 【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G,双卡跑 Strata 反而不如单卡,PCIe 3.0 x4 是瓶颈吗?有没有更好的优化方案?
    yang yangY yang yang
    随便聊聊 rtx4070 rtx5060 多卡部署

    @stxpnet 我翻了你之前的帖子,看到你双 3090 从 PCIe 3.0 x8/x8 升级到了 PCIe 4.0 x16/x16,还研究过 ROMED8-2T 和 MZ32-AR0。
    想请教一下,你现在实际使用的 CPU 和主板具体是什么型号?是已经换成 EPYC 平台了吗?
    另外,升级 PCIe 后 Strata 的 Prefill 和 Decode 有没有明显提升?这个对我是否换主板很有参考价值,谢谢!


  • 【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G,双卡跑 Strata 反而不如单卡,PCIe 3.0 x4 是瓶颈吗?有没有更好的优化方案?
    yang yangY yang yang
    随便聊聊 rtx4070 rtx5060 多卡部署

    @stxpnet 感谢回复!我用的是 13700K + 微星 Z690-A DDR4。
    目前 4070Ti SUPER 走 CPU 直连 PCIe 4.0 x16,5060Ti 走 Z690 芯片组 PCIe 3.0 x4,实测副卡 H2D 带宽只有约 3.6GB/s。
    13700K 的 20 条 CPU 直连通道是显卡 16 条 + NVMe 4 条,我这块主板不支持把显卡通道拆成 x8/x8,所以副卡只能走芯片组。
    之前测试 Strata 双卡 Layer Split,Prefill 反而比单卡慢很多,Helper 模式 Decode 有提升,但整体耗时还是单卡更快。
    想请教一下,你双 3090 用的是什么 CPU 和主板?Strata 是 Layer Split 还是 Peer/Helper 模式?
    另外,你提到的 PCIe 40GB/s 是 Strata 后台统计值,还是实际测出来的 P2P 带宽?
    我主要想判断副卡走芯片组 x4,是不是造成双卡性能下降的主要原因。


  • 【求助】13700K + 4070Ti SUPER 16G + 5060Ti 16G,双卡跑 Strata 反而不如单卡,PCIe 3.0 x4 是瓶颈吗?有没有更好的优化方案?
    yang yangY yang yang
    随便聊聊 rtx4070 rtx5060 多卡部署

    标题
    求助:13700K + 4070TiS 16G + 5060Ti 16G,双卡 Strata 反而比单卡慢,PCIe x4 是瓶颈吗?
    正文
    最近在折腾 Strata 跑 Qwen3.8-Flash-Next IQ3_S,遇到一个问题,想请教一下论坛里的高手。
    目前配置:

    • CPU:i7-13700K
    • 主板:微星 Z690-A DDR4
    • 显卡①:4070Ti SUPER 16G(CPU 直连 PCIe 4.0 x16)
    • 显卡②:5060Ti 16G(芯片组 PCIe 3.0 x4)
    • 内存:128GB DDR4-3200
    • 硬盘:4 个 M.2 插槽全部占满
      目前遇到的问题:
      测试过 Strata 单卡、双卡 Layer Split、Helper 等模式,结果双卡虽然部分测试的 Decode 更快,但整体响应反而不如单卡。
      目前只能使用 4070Ti SUPER 单卡 + 13700K CPU 专家计算,5060Ti 基本闲置。
      之前固定输入测试:
      模式 Prefill Decode
      单卡 1777 tok/s 59.5 tok/s
      双卡 Layer Split 397 tok/s 57 tok/s
      双卡 Helper 1077 tok/s 68 tok/s
      Helper + REO — 82.5 tok/s

    现在比较纠结的是:
    第二张 5060Ti 只有 PCIe 3.0 x4,实测传输带宽约 3.6GB/s,不知道是不是双卡效率低的主要原因。
    考虑过换 X570 ACE / UNIFY,配手里闲置的 5800X,实现 CPU 直连 PCIe 4.0 x8/x8。
    但这样又会损失 13700K 的 CPU 性能![替代文字]
    想请教大家:

    1. Strata 双卡性能差,PCIe 3.0 x4 是不是主要瓶颈?
    2. 换 X570 + 5800X,实现 CPU 直连 x8/x8,值得吗?会不会反而更慢?
    3. 不换主板的话,有没有办法更好地利用第二张 5060Ti?比如 Peer / Helper 优化,或者其他方案?
      主要追求实际推理速度和稳定性,不是单纯跑分。
      有没有类似配置的朋友分享一下经验?感谢!
      image.jpeg
  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组