跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 雙R9700玩qfn的朋友又有得玩了

雙R9700玩qfn的朋友又有得玩了

已定时 已固定 已锁定 已移动 热议 LLM讨论区
r9700qwen-flash多卡部署
62 帖子 17 发布者 1.9k 浏览 2 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • A applejuice

    @Simon-Li-0 我也是新手
    但是我是完全新入手
    所以直接奔着服务器级别来买

    Simon Li 0S
    Simon Li 0S
    Simon Li 0
    编写于 最后由 Simon Li 0 编辑
    #53

    @applejuice 我是五六年前的老平台了,Z490主板,好巧不巧它支持pice4.0拆分8X8,之前看到SGlang双卡tp,就折腾了一下,参考的是https://lcz.me/topic/1925 这篇帖子,也是自编译了内核正常通过了,但是实际和x99还是不一样,GFX Push实际是3.45GB/s始终上不去,我基础太差了,就没在往下折腾了。

    1 条回复 最后回复
    0
    • stxpnetS stxpnet

      image.jpeg
      image.jpeg
      还有这个。4卡R9700 ,聚合输出 4583 t/s ,我靠。啥概念? 作者应该不会玩虚的。。。。
      https://x.com/coldniko/status/2109371125129970071
      并发 | 6 in flight(Slots 6/8,G0-G3 四个 group,G0/G1/G2 各 2 路,G3 空闲) 。

      R9700这要炒上18000吧?
      再换个思路,如果QFN 3.8可以,那GLM 5.3 FLASH按参数量换算,也能达到QFN至少1/2的 吐字效率吧?。。。。

      fcmeF
      fcmeF
      fcme
      王侯将相
      编写于 最后由 编辑
      #54

      @stxpnet
      牛逼,牛逼,只要双卡就有很不错的表现了!真的是心痒痒,今天我用这个模型给我修改文件,我只说了修改一处,结果他把其他地方相关的漏的也都给我指出来,一并修正好了,这可太省事了。

      https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

      1 条回复 最后回复
      0
      • 张光璞张 张光璞

        @paul-hou 说:

        @张光璞
        STRATA又更新了,單R9700的PREFILL上升19%

        Prompt MMQ(PF_FUSED_NATIVE=0) Fused int8 kernel 提升
        7,118 tok 3,953 ms(1,801 tok/s) 3,309 ms(2,160 tok/s) +19.5%
        14,244 tok 7,567 ms(1,882 tok/s) 6,318 ms(2,256 tok/s) +19.8%

        我的9700 供电没解决,12V会被用电尖峰拉跳闸。 降频降压解决不了。

        只能改电源了。

        lesslin xiuL
        lesslin xiuL
        lesslin xiu
        编写于 最后由 编辑
        #55

        @张光璞 我买了个长城 1600W的电源,后续准备上两张,电源一次性补足。

        张光璞张 1 条回复 最后回复
        0
        • lesslin xiuL lesslin xiu

          @张光璞 我买了个长城 1600W的电源,后续准备上两张,电源一次性补足。

          张光璞张
          张光璞张
          张光璞
          贵族大夫 硕果累累
          编写于 最后由 编辑
          #56

          @lesslin-xiu 说:

          @张光璞 我买了个长城 1600W的电源,后续准备上两张,电源一次性补足。

          1个1600 带不了4张卡。 瞬间高并发会让12V 过载触发保护。直接硬断电。

          stxpnetS 1 条回复 最后回复
          1
          • 张光璞张 张光璞

            @lesslin-xiu 说:

            @张光璞 我买了个长城 1600W的电源,后续准备上两张,电源一次性补足。

            1个1600 带不了4张卡。 瞬间高并发会让12V 过载触发保护。直接硬断电。

            stxpnetS
            stxpnetS
            stxpnet
            王侯将相
            编写于 最后由 编辑
            #57

            @张光璞 说:

            @lesslin-xiu 说:

            @张光璞 我买了个长城 1600W的电源,后续准备上两张,电源一次性补足。

            1个1600 带不了4张卡。 瞬间高并发会让12V 过载触发保护。直接硬断电。

            所以我吸取之前的教训,上了2600W电源。。。。 但是现在不敢买卡啊。3090捏着也是不上不下。

            双卡3090 PCIE 4.0 16X/16X

            白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
            夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
            张光璞张 1 条回复 最后回复
            0
            • stxpnetS stxpnet

              @张光璞 说:

              @lesslin-xiu 说:

              @张光璞 我买了个长城 1600W的电源,后续准备上两张,电源一次性补足。

              1个1600 带不了4张卡。 瞬间高并发会让12V 过载触发保护。直接硬断电。

              所以我吸取之前的教训,上了2600W电源。。。。 但是现在不敢买卡啊。3090捏着也是不上不下。

              张光璞张
              张光璞张
              张光璞
              贵族大夫 硕果累累
              编写于 最后由 编辑
              #58

              @stxpnet 说:

              @张光璞 说:

              @lesslin-xiu 说:

              @张光璞 我买了个长城 1600W的电源,后续准备上两张,电源一次性补足。

              1个1600 带不了4张卡。 瞬间高并发会让12V 过载触发保护。直接硬断电。

              所以我吸取之前的教训,上了2600W电源。。。。 但是现在不敢买卡啊。3090捏着也是不上不下。

              我在研究服务器电源了,现在好电源动不动就是几千一个。

              1 条回复 最后回复
              0
              • stxpnetS
                stxpnetS
                stxpnet
                王侯将相
                编写于 最后由 编辑
                #59

                现在想想,没必要买2600W电源,就是那个HP的 ,加一个电源板,成本非常低。 只要为炸显卡也是OK的。

                双卡3090 PCIE 4.0 16X/16X

                白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
                夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
                1 条回复 最后回复
                0
                • 张光璞张
                  张光璞张
                  张光璞
                  贵族大夫 硕果累累
                  编写于 最后由 编辑
                  #60

                  每天都在更新推理框架。要么在看有没有新的东西。

                  感觉已经背离初心,以前买个N卡跑个27B 也是美汁汁。

                  fcmeF 1 条回复 最后回复
                  0
                  • 张光璞张 张光璞

                    每天都在更新推理框架。要么在看有没有新的东西。

                    感觉已经背离初心,以前买个N卡跑个27B 也是美汁汁。

                    fcmeF
                    fcmeF
                    fcme
                    王侯将相
                    编写于 最后由 编辑
                    #61

                    @张光璞
                    是啊,人心不足,现在有了strata以后可以把flash next跑起来以后还是不满足。想跑更快,哈哈

                    https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                    jenaflexJ 1 条回复 最后回复
                    0
                    • fcmeF fcme

                      @张光璞
                      是啊,人心不足,现在有了strata以后可以把flash next跑起来以后还是不满足。想跑更快,哈哈

                      jenaflexJ
                      jenaflexJ
                      jenaflex
                      易有太极
                      编写于 最后由 编辑
                      #62

                      @fcme 说:

                      @张光璞
                      是啊,人心不足,现在有了strata以后可以把flash next跑起来以后还是不满足。想跑更快,哈哈

                      Strata, 比单卡的话,N卡优势还大吗?5070Ti 16GB也已经$1200了,R9700大约$1600
                      已经有一张R9700,跑Qwen 3.8 27b,有点想添一张跑Flash Next

                      1 条回复 最后回复
                      0

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组