跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. AI硬件
  4. X99 + 双 AMD Radeon AI PRO R9700 跑通跨 Root Port P2P:从内核、RCCL 到 SGLang Qwen3.8 实战

X99 + 双 AMD Radeon AI PRO R9700 跑通跨 Root Port P2P:从内核、RCCL 到 SGLang Qwen3.8 实战

已定时 已固定 已锁定 已移动 精华 热议 AI硬件
r9700x99多卡部署
64 帖子 14 发布者 2.3k 浏览 7 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • fcmeF fcme

    @PhoenixRise2026
    又看了一遍这个帖子,老哥牛逼了。看来RDNA4的驱动你在sglang里面搞定了,就像版主说的,由于SGlang优秀的缓存机制,其实pp这一块重要性没有那么高,那你可以考虑把dflash2给加进去吗?这样的话,这个蛋疼的tg速度就可以解决了。SGlang本身是支持的。
    你要是把这个也搞定的话,那你基本上功德无量了😃😂

    suboyangS
    suboyangS
    suboyang
    劳动模范
    编写于 最后由 编辑
    #42

    @fcme

    你说的是这个帖子吗?
    https://github.com/mattbucci/2x-R9700-RDNA4-GFX1201-sglang-inference

    速度很慢啊

    1 条回复 最后回复
    0
    • A applejuice

      @suboyang 你这种需求 上rtx6000也不亏

      最低都要两块5090

      suboyangS
      suboyangS
      suboyang
      劳动模范
      编写于 最后由 suboyang 编辑
      #43

      @applejuice

      差不多,最后就得两个5090。但是这个成本也太高,其实单卡R9700 跑qwen3.8 27B 100token/s 也可以了。就是看看双卡R9700 能不能优化到120~130token/s 或者更高

      xiang xuX 1 条回复 最后回复
      0
      • ,系统 取消固定了此主题
      • fcmeF fcme

        @PhoenixRise2026
        又看了一遍这个帖子,老哥牛逼了。看来RDNA4的驱动你在sglang里面搞定了,就像版主说的,由于SGlang优秀的缓存机制,其实pp这一块重要性没有那么高,那你可以考虑把dflash2给加进去吗?这样的话,这个蛋疼的tg速度就可以解决了。SGlang本身是支持的。
        你要是把这个也搞定的话,那你基本上功德无量了😃😂

        PhoenixRise2026P
        PhoenixRise2026P
        PhoenixRise2026
        德高望重
        编写于 最后由 编辑
        #44

        @fcme 说:

        @PhoenixRise2026
        又看了一遍这个帖子,老哥牛逼了。看来RDNA4的驱动你在sglang里面搞定了,就像版主说的,由于SGlang优秀的缓存机制,其实pp这一块重要性没有那么高,那你可以考虑把dflash2给加进去吗?这样的话,这个蛋疼的tg速度就可以解决了。SGlang本身是支持的。
        你要是把这个也搞定的话,那你基本上功德无量了😃😂

        这两天懈怠了,十一前把dflash2测了

        🔧 X99 × Dual R9700 P2P Lab
        https://lcz.me/projects/local/x99-amd-gpu-p2p

        terryT 1 条回复 最后回复
        1
        • suboyangS suboyang

          @applejuice

          差不多,最后就得两个5090。但是这个成本也太高,其实单卡R9700 跑qwen3.8 27B 100token/s 也可以了。就是看看双卡R9700 能不能优化到120~130token/s 或者更高

          xiang xuX
          xiang xuX
          xiang xu
          编写于 最后由 编辑
          #45

          @suboyang 单卡R9700在X99上能跑到100吗?

          suboyangS 1 条回复 最后回复
          0
          • xiang xuX xiang xu

            @suboyang 单卡R9700在X99上能跑到100吗?

            suboyangS
            suboyangS
            suboyang
            劳动模范
            编写于 最后由 编辑
            #46

            @xiang-xu
            X99 不知道,但是单卡应该可以,不过上线文就是192k 那种

            1 条回复 最后回复
            0
            • ,terryT terry 固定了此主题
            • PhoenixRise2026P PhoenixRise2026

              @fcme 说:

              @PhoenixRise2026
              又看了一遍这个帖子,老哥牛逼了。看来RDNA4的驱动你在sglang里面搞定了,就像版主说的,由于SGlang优秀的缓存机制,其实pp这一块重要性没有那么高,那你可以考虑把dflash2给加进去吗?这样的话,这个蛋疼的tg速度就可以解决了。SGlang本身是支持的。
              你要是把这个也搞定的话,那你基本上功德无量了😃😂

              这两天懈怠了,十一前把dflash2测了

              terryT
              terryT
              terry
              超级版主
              编写于 最后由 编辑
              #47

              @PhoenixRise2026 很好,就等你出手了。

              油管:https://www.youtube.com/@抡锤者

              1 条回复 最后回复
              0
              • terryT terry

                @PhoenixRise2026 可以继续优化,或许可以出个github项目,这玩意还挺重要的。

                PhoenixRise2026P
                PhoenixRise2026P
                PhoenixRise2026
                德高望重
                编写于 最后由 编辑
                #48

                @terry 说:

                @PhoenixRise2026 可以继续优化,或许可以出个github项目,这玩意还挺重要的。

                谢谢老特提醒,创建了个项目,需要的兄弟们可以参考,也是第一次为社区做点贡献。
                https://github.com/PhoenixRise2026/x99-amd-gpu-p2p

                🔧 X99 × Dual R9700 P2P Lab
                https://lcz.me/projects/local/x99-amd-gpu-p2p

                terryT DESHENG LVD 2 条回复 最后回复
                0
                • PhoenixRise2026P PhoenixRise2026

                  @terry 说:

                  @PhoenixRise2026 可以继续优化,或许可以出个github项目,这玩意还挺重要的。

                  谢谢老特提醒,创建了个项目,需要的兄弟们可以参考,也是第一次为社区做点贡献。
                  https://github.com/PhoenixRise2026/x99-amd-gpu-p2p

                  terryT
                  terryT
                  terry
                  超级版主
                  编写于 最后由 terry 编辑
                  #49

                  @PhoenixRise2026
                  https://lcz.me/projects/local/x99-amd-gpu-p2p
                  可以挂到你的签名栏。

                  油管:https://www.youtube.com/@抡锤者

                  PhoenixRise2026P 1 条回复 最后回复
                  0
                  • PhoenixRise2026P PhoenixRise2026

                    @terry 说:

                    @PhoenixRise2026 可以继续优化,或许可以出个github项目,这玩意还挺重要的。

                    谢谢老特提醒,创建了个项目,需要的兄弟们可以参考,也是第一次为社区做点贡献。
                    https://github.com/PhoenixRise2026/x99-amd-gpu-p2p

                    DESHENG LVD
                    DESHENG LVD
                    DESHENG LV
                    编写于 最后由 编辑
                    #50

                    @PhoenixRise2026

                    @PhoenixRise2026 显卡还在路上 已经 star 了,沙发

                    1 条回复 最后回复
                    1
                    • terryT terry

                      @PhoenixRise2026
                      https://lcz.me/projects/local/x99-amd-gpu-p2p
                      可以挂到你的签名栏。

                      PhoenixRise2026P
                      PhoenixRise2026P
                      PhoenixRise2026
                      德高望重
                      编写于 最后由 编辑
                      #51

                      @Terry 已加到签名栏。

                      正在测试dflash2,目前看比mtp的decode要更快,还在调试参数

                      🔧 X99 × Dual R9700 P2P Lab
                      https://lcz.me/projects/local/x99-amd-gpu-p2p

                      terryT 1 条回复 最后回复
                      1
                      • ,系统 取消固定了此主题
                      • XiaoteX
                        XiaoteX
                        Xiaote
                        编写于 最后由 编辑
                        #52

                        🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励,感谢分享!

                        奖励凭证:热议 +3 分 · 编号 h1925-166-1(系统自动发放,显示稍有延迟)

                        老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                        1 条回复 最后回复
                        0
                        • PhoenixRise2026P PhoenixRise2026

                          @Terry 已加到签名栏。

                          正在测试dflash2,目前看比mtp的decode要更快,还在调试参数

                          terryT
                          terryT
                          terry
                          超级版主
                          编写于 最后由 编辑
                          #53

                          @PhoenixRise2026 看看这玩意能不能和strata蹭上,搞不好也很有意义😂

                          油管:https://www.youtube.com/@抡锤者

                          PhoenixRise2026P 1 条回复 最后回复
                          1
                          • ,PhoenixRise2026P PhoenixRise2026 引用了 此主题
                          • Kins HoK
                            Kins HoK
                            Kins Ho
                            编写于 最后由 编辑
                            #54

                            尋求大老給問,我目前有2台洋垃圾,就差在顯卡與電源供應器。
                            也可以建置嗎?

                            處理器 雙路 Intel Xeon E5-2696 v4
                            主機板 HUANANZHI X99 F8D
                            記憶體 海力士DDR4-2133 128GB
                            顯示卡 2080ti / 3060
                            電源 750w /850w

                            PhoenixRise2026P 1 条回复 最后回复
                            0
                            • terryT terry

                              @PhoenixRise2026 看看这玩意能不能和strata蹭上,搞不好也很有意义😂

                              PhoenixRise2026P
                              PhoenixRise2026P
                              PhoenixRise2026
                              德高望重
                              编写于 最后由 编辑
                              #55

                              @Terry 这几天在调试单卡和双卡跑strata,跑完发给帖子

                              🔧 X99 × Dual R9700 P2P Lab
                              https://lcz.me/projects/local/x99-amd-gpu-p2p

                              1 条回复 最后回复
                              0
                              • Kins HoK Kins Ho

                                尋求大老給問,我目前有2台洋垃圾,就差在顯卡與電源供應器。
                                也可以建置嗎?

                                處理器 雙路 Intel Xeon E5-2696 v4
                                主機板 HUANANZHI X99 F8D
                                記憶體 海力士DDR4-2133 128GB
                                顯示卡 2080ti / 3060
                                電源 750w /850w

                                PhoenixRise2026P
                                PhoenixRise2026P
                                PhoenixRise2026
                                德高望重
                                编写于 最后由 编辑
                                #56

                                @Kins-Ho 说:

                                尋求大老給問,我目前有2台洋垃圾,就差在顯卡與電源供應器。
                                也可以建置嗎?

                                處理器 雙路 Intel Xeon E5-2696 v4
                                主機板 HUANANZHI X99 F8D
                                記憶體 海力士DDR4-2133 128GB
                                顯示卡 2080ti / 3060
                                電源 750w /850w

                                双路 E5-2696 v4 + X99 F8D + 128GB 内存本身没有明显问题,不过如果想跑双卡,关键不在 CPU 和内存,而是在 主板 PCIe 拓扑。

                                不同 X99 双路板的 PCIe 插槽可能分别挂在不同 CPU / Root Port 下,所以目前还不能只看型号就确定 P2P 一定能打通。

                                你可以先在这台 F8D 上执行:

                                lspci -tv

                                让AI来评估是否可以打通P2P

                                另外,电源建议多打出一些余量,双卡至少1000w以上。我的双r9700,用振华1300w电源,几乎满功率300w运行5.5小时,非常稳定。

                                🔧 X99 × Dual R9700 P2P Lab
                                https://lcz.me/projects/local/x99-amd-gpu-p2p

                                Kins HoK 1 条回复 最后回复
                                1
                                • terryT
                                  terryT
                                  terry
                                  超级版主
                                  编写于 最后由 编辑
                                  #57

                                  这个帖子是近期最精华的帖子之一,可以继续完善,有其他人有类似主板的可以尝试下,交换下信息。

                                  油管:https://www.youtube.com/@抡锤者

                                  1 条回复 最后回复
                                  0
                                  • PhoenixRise2026P PhoenixRise2026

                                    @Kins-Ho 说:

                                    尋求大老給問,我目前有2台洋垃圾,就差在顯卡與電源供應器。
                                    也可以建置嗎?

                                    處理器 雙路 Intel Xeon E5-2696 v4
                                    主機板 HUANANZHI X99 F8D
                                    記憶體 海力士DDR4-2133 128GB
                                    顯示卡 2080ti / 3060
                                    電源 750w /850w

                                    双路 E5-2696 v4 + X99 F8D + 128GB 内存本身没有明显问题,不过如果想跑双卡,关键不在 CPU 和内存,而是在 主板 PCIe 拓扑。

                                    不同 X99 双路板的 PCIe 插槽可能分别挂在不同 CPU / Root Port 下,所以目前还不能只看型号就确定 P2P 一定能打通。

                                    你可以先在这台 F8D 上执行:

                                    lspci -tv

                                    让AI来评估是否可以打通P2P

                                    另外,电源建议多打出一些余量,双卡至少1000w以上。我的双r9700,用振华1300w电源,几乎满功率300w运行5.5小时,非常稳定。

                                    Kins HoK
                                    Kins HoK
                                    Kins Ho
                                    编写于 最后由 编辑
                                    #58

                                    @PhoenixRise2026 好的我先瞭解lspci -tv,再試試看,如有消息回報,感謝大大們

                                    1 条回复 最后回复
                                    0
                                    • PhoenixRise2026P
                                      PhoenixRise2026P
                                      PhoenixRise2026
                                      德高望重
                                      编写于 最后由 编辑
                                      #59

                                      关于SGLang TP2 + DFlash2 的测试情况,麻烦老特 @Terry 帮忙添加的主帖上。后续关于x99 双卡的测试情况都索引到这个帖子。方便大家查看。

                                      X99 打通双 R9700 P2P 后:SGLang TP2 + DFlash2 实测
                                      https://lcz.me/topic/2036

                                      🔧 X99 × Dual R9700 P2P Lab
                                      https://lcz.me/projects/local/x99-amd-gpu-p2p

                                      terryT 1 条回复 最后回复
                                      0
                                      • PhoenixRise2026P PhoenixRise2026

                                        关于SGLang TP2 + DFlash2 的测试情况,麻烦老特 @Terry 帮忙添加的主帖上。后续关于x99 双卡的测试情况都索引到这个帖子。方便大家查看。

                                        X99 打通双 R9700 P2P 后:SGLang TP2 + DFlash2 实测
                                        https://lcz.me/topic/2036

                                        terryT
                                        terryT
                                        terry
                                        超级版主
                                        编写于 最后由 编辑
                                        #60

                                        @PhoenixRise2026 说:

                                        https://lcz.me/topic/2036

                                        搞定了,有类似需求可以@所有版主

                                        油管:https://www.youtube.com/@抡锤者

                                        1 条回复 最后回复
                                        0
                                        • PhoenixRise2026P
                                          PhoenixRise2026P
                                          PhoenixRise2026
                                          德高望重
                                          编写于 最后由 编辑
                                          #61

                                          更新一下进展:

                                          已经把 X99 / Broadwell-EP(8086:6f00)的 P2PDMA 白名单补丁提交给 Linux PCI 维护者,目前被正式接收,已进入 pci/p2pdma 和 pci/next 分支,目标合并至 Linux v7.4。官方更新后未来不需要再编译内核了。

                                          目前还未确认进入 Linus 主线,后续有进展再更新。

                                          🔧 X99 × Dual R9700 P2P Lab
                                          https://lcz.me/projects/local/x99-amd-gpu-p2p

                                          terryT 1 条回复 最后回复
                                          1

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组