跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 雙R9700玩qfn的朋友又有得玩了

雙R9700玩qfn的朋友又有得玩了

已定时 已固定 已锁定 已移动 热议 LLM讨论区
r9700qwen-flash多卡部署
56 帖子 16 发布者 777 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • stxpnetS
    stxpnetS
    stxpnet
    超凡大师
    编写于 最后由 编辑
    #44

    image.jpeg

    image.jpeg

    等吧。14号还有大的。 这是作者昨晚发的。

    双卡3090 PCIE 4.0 16X/16X

    白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
    夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
    1 条回复 最后回复
    0
    • stxpnetS
      stxpnetS
      stxpnet
      超凡大师
      编写于 最后由 stxpnet 编辑
      #45

      image.jpeg
      image.jpeg
      还有这个。4卡R9700 ,聚合输出 4583 t/s ,我靠。啥概念? 作者应该不会玩虚的。。。。
      https://x.com/coldniko/status/2109371125129970071
      并发 | 6 in flight(Slots 6/8,G0-G3 四个 group,G0/G1/G2 各 2 路,G3 空闲) 。

      R9700这要炒上18000吧?
      再换个思路,如果QFN 3.8可以,那GLM 5.3 FLASH按参数量换算,也能达到QFN至少1/2的 吐字效率吧?。。。。

      双卡3090 PCIE 4.0 16X/16X

      白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
      夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
      Y fcmeF 2 条回复 最后回复
      0
      • stxpnetS stxpnet

        image.jpeg
        image.jpeg
        还有这个。4卡R9700 ,聚合输出 4583 t/s ,我靠。啥概念? 作者应该不会玩虚的。。。。
        https://x.com/coldniko/status/2109371125129970071
        并发 | 6 in flight(Slots 6/8,G0-G3 四个 group,G0/G1/G2 各 2 路,G3 空闲) 。

        R9700这要炒上18000吧?
        再换个思路,如果QFN 3.8可以,那GLM 5.3 FLASH按参数量换算,也能达到QFN至少1/2的 吐字效率吧?。。。。

        Y
        Y
        yu
        编写于 最后由 编辑
        #46

        @stxpnet 2張R9700也能吃到效果嗎? 2張還可以拚一下,4張實在整不來。

        1 条回复 最后回复
        0
        • stxpnetS
          stxpnetS
          stxpnet
          超凡大师
          编写于 最后由 编辑
          #47

          应该有,估计有人把自己的4XR9700 给作者去调试了.挖到金矿.

          双卡3090 PCIE 4.0 16X/16X

          白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
          夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
          1 条回复 最后回复
          1
          • paul houP paul hou

            @applejuice
            我當初台幣700/16g買的,現在已經漲快6倍了。

            imbiplaza ASUSI
            imbiplaza ASUSI
            imbiplaza ASUS
            谪仙人
            编写于 最后由 编辑
            #48

            @paul-hou
            试一试找找看fanxiang....他起价没有那么夸张 (3倍 - 4倍左右)

            paul houP 1 条回复 最后回复
            0
            • imbiplaza ASUSI imbiplaza ASUS

              @paul-hou
              试一试找找看fanxiang....他起价没有那么夸张 (3倍 - 4倍左右)

              paul houP
              paul houP
              paul hou
              德高望重 劳动模范
              编写于 最后由 编辑
              #49

              @imbiplaza-ASUS
              淘寶才有3-4倍,台灣店面都是6倍起跳了。

              1 条回复 最后回复
              0
              • Magic629M Magic629

                主板:技嘉AORE G 两个PCIe5.0x8走的都是CPU,双R9700显卡,提示以下错误!

                以下信息是什么意思?求助各位大佬们
                你的判断方向是对的——两卡确实都直连 CPU(root port 00:06.0/00:06.3),物理上具备 P2P 条件。但实测 P2P 仍被掐死,元凶是 root port 上 ACS 的三个阻断位全开(ReqRedir+ CmpltRedir+ UpstreamFwd+),强制卡间流量绕道内存。这是 Intel 消费级平台(Arrow Lake)为 VT-d 隔离硬连线的,BIOS 关不掉,iommu=pt 也救不了——所以不是驱动没配好,是主板级天花板。当前 53 tok/s 已经是这台机器能榨出的最优解了。

                记忆已更新(修正了之前"硬件无 P2P"的旧结论 → 实锤为"ACS 隔离"),下次不会再拿旧说法糊弄你。

                屏幕截图 2026-10-11 182908.png

                Simon Li 0S
                Simon Li 0S
                Simon Li 0
                编写于 最后由 编辑
                #50

                @Magic629 论坛似乎还没有Intel 消费级平台跑通P2P的吧,跟主板拆不拆分没关系,是平台不行,论坛大神们跑通的都是AM4、AM5和X99、EPYC这些。我也是小白,不知道说的对不对,你要是跑通的记得带带我啊哈哈哈

                A stxpnetS 2 条回复 最后回复
                0
                • Simon Li 0S Simon Li 0

                  @Magic629 论坛似乎还没有Intel 消费级平台跑通P2P的吧,跟主板拆不拆分没关系,是平台不行,论坛大神们跑通的都是AM4、AM5和X99、EPYC这些。我也是小白,不知道说的对不对,你要是跑通的记得带带我啊哈哈哈

                  A
                  A
                  applejuice
                  技术大牛 劳动模范
                  编写于 最后由 编辑
                  #51

                  @Simon-Li-0 我也是新手
                  但是我是完全新入手
                  所以直接奔着服务器级别来买

                  Simon Li 0S 1 条回复 最后回复
                  0
                  • Simon Li 0S Simon Li 0

                    @Magic629 论坛似乎还没有Intel 消费级平台跑通P2P的吧,跟主板拆不拆分没关系,是平台不行,论坛大神们跑通的都是AM4、AM5和X99、EPYC这些。我也是小白,不知道说的对不对,你要是跑通的记得带带我啊哈哈哈

                    stxpnetS
                    stxpnetS
                    stxpnet
                    超凡大师
                    编写于 最后由 stxpnet 编辑
                    #52

                    @Simon-Li-0 说:

                    @Magic629 论坛似乎还没有Intel 消费级平台跑通P2P的吧,跟主板拆不拆分没关系,是平台不行,论坛大神们跑通的都是AM4、AM5和X99、EPYC这些。我也是小白,不知道说的对不对,你要是跑通的记得带带我啊哈哈哈

                    已经有项目了,一个日本 人做的 xestrata,看这速度,B70 GPU也很能打啊,

                    {6EC44179-1533-496E-ACCC-7B99D829B110}.jpeg

                    双卡3090 PCIE 4.0 16X/16X

                    白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
                    夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
                    1 条回复 最后回复
                    0
                    • A applejuice

                      @Simon-Li-0 我也是新手
                      但是我是完全新入手
                      所以直接奔着服务器级别来买

                      Simon Li 0S
                      Simon Li 0S
                      Simon Li 0
                      编写于 最后由 Simon Li 0 编辑
                      #53

                      @applejuice 我是五六年前的老平台了,Z490主板,好巧不巧它支持pice4.0拆分8X8,之前看到SGlang双卡tp,就折腾了一下,参考的是https://lcz.me/topic/1925 这篇帖子,也是自编译了内核正常通过了,但是实际和x99还是不一样,GFX Push实际是3.45GB/s始终上不去,我基础太差了,就没在往下折腾了。

                      1 条回复 最后回复
                      0
                      • stxpnetS stxpnet

                        image.jpeg
                        image.jpeg
                        还有这个。4卡R9700 ,聚合输出 4583 t/s ,我靠。啥概念? 作者应该不会玩虚的。。。。
                        https://x.com/coldniko/status/2109371125129970071
                        并发 | 6 in flight(Slots 6/8,G0-G3 四个 group,G0/G1/G2 各 2 路,G3 空闲) 。

                        R9700这要炒上18000吧?
                        再换个思路,如果QFN 3.8可以,那GLM 5.3 FLASH按参数量换算,也能达到QFN至少1/2的 吐字效率吧?。。。。

                        fcmeF
                        fcmeF
                        fcme
                        超凡大师
                        编写于 最后由 编辑
                        #54

                        @stxpnet
                        牛逼,牛逼,只要双卡就有很不错的表现了!真的是心痒痒,今天我用这个模型给我修改文件,我只说了修改一处,结果他把其他地方相关的漏的也都给我指出来,一并修正好了,这可太省事了。

                        1 条回复 最后回复
                        0
                        • 张光璞张 张光璞

                          @paul-hou 说:

                          @张光璞
                          STRATA又更新了,單R9700的PREFILL上升19%

                          Prompt MMQ(PF_FUSED_NATIVE=0) Fused int8 kernel 提升
                          7,118 tok 3,953 ms(1,801 tok/s) 3,309 ms(2,160 tok/s) +19.5%
                          14,244 tok 7,567 ms(1,882 tok/s) 6,318 ms(2,256 tok/s) +19.8%

                          我的9700 供电没解决,12V会被用电尖峰拉跳闸。 降频降压解决不了。

                          只能改电源了。

                          lesslin xiuL
                          lesslin xiuL
                          lesslin xiu
                          编写于 最后由 编辑
                          #55

                          @张光璞 我买了个长城 1600W的电源,后续准备上两张,电源一次性补足。

                          张光璞张 1 条回复 最后回复
                          0
                          • lesslin xiuL lesslin xiu

                            @张光璞 我买了个长城 1600W的电源,后续准备上两张,电源一次性补足。

                            张光璞张
                            张光璞张
                            张光璞
                            技术大牛 劳动模范
                            编写于 最后由 编辑
                            #56

                            @lesslin-xiu 说:

                            @张光璞 我买了个长城 1600W的电源,后续准备上两张,电源一次性补足。

                            1个1600 带不了4张卡。 瞬间高并发会让12V 过载触发保护。直接硬断电。

                            1 条回复 最后回复
                            0

                            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                            厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                            有了你的建议,这篇帖子会更精彩哦 💗

                            注册 登录
                            回复
                            • 在新帖中回复
                            登录后回复
                            • 从旧到新
                            • 从新到旧
                            • 最多赞同


                            • 登录

                            • 登录或注册以进行搜索。
                            • 第一个帖子
                              最后一个帖子
                            0
                            • 版块
                            • 最新
                            • 标签
                            • 热门
                            • 用户
                            • 群组