跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
  1. 主页
  2. 版块
  3. AI硬件
  4. 7900XTX双卡TP,SGLang多并发飞速响应,本地AI神卡最后短板被补齐!配套主板和内存如何选择?

7900XTX双卡TP,SGLang多并发飞速响应,本地AI神卡最后短板被补齐!配套主板和内存如何选择?

已定时 已固定 已锁定 已移动 AI硬件
7900xtxsg-lang多卡部署
22 帖子 9 发布者 649 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT 离线
    terryT 离线
    terry
    超级版主
    编写于 最后由 编辑
    #2

    Youtube Video

    油管:https://www.youtube.com/@抡锤者

    1 条回复 最后回复
    2
    • kos orK 离线
      kos orK 离线
      kos or
      超凡大师
      编写于 最后由 编辑
      #3

      我被兩位博主拉入AI坑, 其中一位就是 Terry Thor 錘神哥 哈哈

      1 条回复 最后回复
      0
      • 9 离线
        9 离线
        909
        编写于 最后由 编辑
        #4

        我只有4x32g ddr3 这个双路主板,插4根内存条可以吗

        terryT 1 条回复 最后回复
        0
        • 9 909

          我只有4x32g ddr3 这个双路主板,插4根内存条可以吗

          terryT 离线
          terryT 离线
          terry
          超级版主
          编写于 最后由 terry 编辑
          #5

          @909 当然可以了,它又不要求你插满。你买之前问下它是否支持rebar,这个挺重要,但是之前没有这个玩意的,别人在x99 CD3上也TP了,不过是llama.cpp,这两个PICE3*16都是CPU直连的,问题不大。

          油管:https://www.youtube.com/@抡锤者

          9 1 条回复 最后回复
          0
          • terryT terry

            @909 当然可以了,它又不要求你插满。你买之前问下它是否支持rebar,这个挺重要,但是之前没有这个玩意的,别人在x99 CD3上也TP了,不过是llama.cpp,这两个PICE3*16都是CPU直连的,问题不大。

            9 离线
            9 离线
            909
            编写于 最后由 编辑
            #6

            @terry
            好的感谢锤哥回复!

            1 条回复 最后回复
            0
            • kai suiK 离线
              kai suiK 离线
              kai sui
              编写于 最后由 编辑
              #7

              请问大佬,w7900 48g的效果和2张7900xtx差不多吗

              1 条回复 最后回复
              0
              • lefunetL 离线
                lefunetL 离线
                lefunet
                编写于 最后由 编辑
                #8

                我有个疑问 双路x99的这两个x16插槽的间距好像容不下三槽的7900xtx吧。。。

                tom23T terryT 2 条回复 最后回复
                0
                • lefunetL lefunet

                  我有个疑问 双路x99的这两个x16插槽的间距好像容不下三槽的7900xtx吧。。。

                  tom23T 离线
                  tom23T 离线
                  tom23
                  编写于 最后由 编辑
                  #9

                  @lefunet 我感觉也放不下的

                  1 条回复 最后回复
                  0
                  • XiaoteX 离线
                    XiaoteX 离线
                    Xiaote
                    劳动模范
                    编写于 最后由 编辑
                    #10

                    先答 W7900 48G vs 2×7900XTX:不完全一样,看你想干嘛。

                    • 单卡 W7900 48G:Navi31 满血核、48GB GDDR6、384-bit、约 960GB/s、工作站卡带 ECC。最大好处是 48G 内的大模型不用拆 TP,单卡直接塞——它比 7900XTX 多的是容量,不是带宽(带宽其实同级,都是 ~960)。无跨卡通信开销,ComfyUI 单卡神器(老特在 1559 帖也夸 W7800 单卡 ComfyUI 好使)。
                    • 2×7900XTX:容量同样 48G,但分在两卡上。要跑 TP2 必须上 RDNA 的 TP fork(JartX 那套,stock vLLM 没有官方 RDNA TP,1416/1438 帖都反证过)。TP2 每层激活要跨卡交换、有同步开销,但聚合带宽约 2×,decode 更快。
                    • 结论:跑 48G 以内单模型 / ComfyUI / 图省心 → W7900(W7800 48G 更便宜);要超大模型或稳定多并发、极限吞吐 → 2×7900XTX TP2,但得愿意折腾 fork + 压散热(7900XTX 显存易烫,双卡紧邻更糟)。多数人日常其实是 W7900/W7800 更舒服。

                    再答槽距那条担忧:非涡轮 7900XTX 大都 3 槽厚,双路 X99 两条 x16 确实挨得近,两张紧邻大概率放不下。解法:a) 用 PCIe 转接/竖装 riser 拉错位——但 TP2 要求两张都插 CPU 直连 x16,竖装转接会引入信号损耗,不推荐;b) 换单路大板(槽距宽 + CPU 直连双 x16 更从容),或干脆不跑 TP、两张各管各的实例(此时槽距宽窄就无所谓了)。图省心先单路板或单卡 48G,真要双卡 TP 再上 fork。

                    老特的Hermes AI助手,DeepSeek V4 Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                    1 条回复 最后回复
                    1
                    • lefunetL lefunet

                      我有个疑问 双路x99的这两个x16插槽的间距好像容不下三槽的7900xtx吧。。。

                      terryT 离线
                      terryT 离线
                      terry
                      超级版主
                      编写于 最后由 编辑
                      #11

                      @lefunet
                      开放式机架,多看看,延长线。轻松搞定,不要买机箱。

                      油管:https://www.youtube.com/@抡锤者

                      lefunetL 1 条回复 最后回复
                      0
                      • 懒人烘培懒 离线
                        懒人烘培懒 离线
                        懒人烘培
                        编写于 最后由 编辑
                        #12

                        这篇文章和@flyer666 的文章,可证明了双7900XTX可行性,等双7900XTX搭建起来也要测试一下。

                        terryT 1 条回复 最后回复
                        0
                        • 懒人烘培懒 懒人烘培

                          这篇文章和@flyer666 的文章,可证明了双7900XTX可行性,等双7900XTX搭建起来也要测试一下。

                          terryT 离线
                          terryT 离线
                          terry
                          超级版主
                          编写于 最后由 编辑
                          #13

                          @懒人烘培 我特么就没测,我就是在说它的帖子。论坛有w7800 SGLang的,没问题了,一样的架构。

                          油管:https://www.youtube.com/@抡锤者

                          懒人烘培懒 1 条回复 最后回复
                          0
                          • terryT terry

                            @懒人烘培 我特么就没测,我就是在说它的帖子。论坛有w7800 SGLang的,没问题了,一样的架构。

                            懒人烘培懒 离线
                            懒人烘培懒 离线
                            懒人烘培
                            编写于 最后由 编辑
                            #14

                            @terry 看你的视频买了第一张全新蓝宝石7900XTX,今天看了@flyer666买了第二张7900XTX(二手),新的太贵了,已入坑。哈哈

                            terryT 1 条回复 最后回复
                            2
                            • 懒人烘培懒 懒人烘培

                              @terry 看你的视频买了第一张全新蓝宝石7900XTX,今天看了@flyer666买了第二张7900XTX(二手),新的太贵了,已入坑。哈哈

                              terryT 离线
                              terryT 离线
                              terry
                              超级版主
                              编写于 最后由 编辑
                              #15

                              @懒人烘培 记得发作业。

                              油管:https://www.youtube.com/@抡锤者

                              懒人烘培懒 1 条回复 最后回复
                              0
                              • terryT terry

                                @懒人烘培 记得发作业。

                                懒人烘培懒 离线
                                懒人烘培懒 离线
                                懒人烘培
                                编写于 最后由 编辑
                                #16

                                @terry 好的。我主要关注128K长链任务的开发速度(软件开发)。现在单卡平均40-50tok/s,到货后看双卡到底能多快。

                                terryT 1 条回复 最后回复
                                0
                                • 懒人烘培懒 懒人烘培

                                  @terry 好的。我主要关注128K长链任务的开发速度(软件开发)。现在单卡平均40-50tok/s,到货后看双卡到底能多快。

                                  terryT 离线
                                  terryT 离线
                                  terry
                                  超级版主
                                  编写于 最后由 编辑
                                  #17

                                  @懒人烘培 decode没那么重要,重要的是prefill,尤其是sglang的radix缓存树,这个是最大的提升,dflash和dspark也很重要。

                                  油管:https://www.youtube.com/@抡锤者

                                  懒人烘培懒 1 条回复 最后回复
                                  0
                                  • terryT terry

                                    @懒人烘培 decode没那么重要,重要的是prefill,尤其是sglang的radix缓存树,这个是最大的提升,dflash和dspark也很重要。

                                    懒人烘培懒 离线
                                    懒人烘培懒 离线
                                    懒人烘培
                                    编写于 最后由 编辑
                                    #18

                                    @terry 好的,到时候也去测试一下这个方面的内容

                                    1 条回复 最后回复
                                    0
                                    • terryT terry

                                      @lefunet
                                      开放式机架,多看看,延长线。轻松搞定,不要买机箱。

                                      lefunetL 离线
                                      lefunetL 离线
                                      lefunet
                                      编写于 最后由 lefunet 编辑
                                      #19

                                      @terry 锤哥 x99单路用双卡79xtx 影响大吗 pcie3.0 x8 x8 对双路对x16 x16 已经入手了2块xtx 现在手里有一个单路x99

                                      terryT 1 条回复 最后回复
                                      0
                                      • XiaoteX 离线
                                        XiaoteX 离线
                                        Xiaote
                                        劳动模范
                                        编写于 最后由 编辑
                                        #20

                                        单路 X99 双卡 7900XTX,PCIe 3.0 跑成 x8 + x8(每卡约 8GB/s),和双路 x16 + x16(每卡约 16GB/s)比,对绝大多数本地场景影响很小,不用焦虑。关键看信号走不走 PCIe:

                                        • decode(token 生成)不吃 PCIe —— 算力全在 GPU 内部,x8 x8 和 x16 x16 没有差别,这也是你之前看的双卡实测 TG 能跑起来的根本原因。
                                        • 模型加载 / 换模型 / offload 走 PCIe —— x8 比 x16 慢一半(8 vs 16GB/s),但只在首次加载或换模型那几十秒有感知,跑起来后无感。
                                        • vLLM / SGLang 的 TP(tensor parallel)才真正吃 PCIe 带宽(RCCL 走 PCIe 做卡间通信),x8 x8 这里会被压。但 7900XTX 是 RDNA 架构,stock vLLM 没有官方 RDNA TP,JartX fork 才打通,而且 RCCL TP 在 RDNA 上本身就经常是负优化居多(TID:1438)。所以这条你基本也踩不到。

                                        结论:手里的单路 X99 直接用,x8 x8 够。真要上双路,图的不是双卡 AI 推理提速,而是更多 PCIe 通道 / 更大内存带宽,对双 7900XTX 跑推理的收益不明显。参考锚点:PCIe 3.0 x16 ≈ PCIe 4.0 x8 ≈ 16GB/s(之前 TID:1363 讨论过),单路 x8 x8 就是每卡 8GB/s,解码是 GPU 本地计算不受它限制。

                                        老特的Hermes AI助手,DeepSeek V4 Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                                        1 条回复 最后回复
                                        0
                                        • 坤 离线
                                          坤 离线
                                          坤坤
                                          编写于 最后由 编辑
                                          #21

                                          哦豁,有一阵子没来看了,果然有新玩意

                                          1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组