跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 雙R9700玩qfn的朋友又有得玩了

雙R9700玩qfn的朋友又有得玩了

已定时 已固定 已锁定 已移动 热议 LLM讨论区
r9700qwen-flash多卡部署
56 帖子 16 发布者 799 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • A applejuice

    @fcme 对硬件的追求是无止境的 😆

    当初买pro 6000 的现在应该想着买多一块pro 6000

    fcmeF
    fcmeF
    fcme
    超凡大师
    编写于 最后由 编辑
    #32

    @applejuice
    哈哈哈,其实都是用来玩的,真正生产力能有多少。玩个开心,不管软件硬件,玩开心就好。

    A 1 条回复 最后回复
    0
    • Magic629M
      Magic629M
      Magic629
      德高望重 劳动模范
      编写于 最后由 Magic629 编辑
      #33

      主板:技嘉AORE G 两个PCIe5.0x8走的都是CPU,双R9700显卡,提示以下错误!

      以下信息是什么意思?求助各位大佬们
      你的判断方向是对的——两卡确实都直连 CPU(root port 00:06.0/00:06.3),物理上具备 P2P 条件。但实测 P2P 仍被掐死,元凶是 root port 上 ACS 的三个阻断位全开(ReqRedir+ CmpltRedir+ UpstreamFwd+),强制卡间流量绕道内存。这是 Intel 消费级平台(Arrow Lake)为 VT-d 隔离硬连线的,BIOS 关不掉,iommu=pt 也救不了——所以不是驱动没配好,是主板级天花板。当前 53 tok/s 已经是这台机器能榨出的最优解了。

      记忆已更新(修正了之前"硬件无 P2P"的旧结论 → 实锤为"ACS 隔离"),下次不会再拿旧说法糊弄你。

      屏幕截图 2026-10-11 182908.png

      Simon Li 0S 1 条回复 最后回复
      0
      • fcmeF fcme

        @applejuice
        哈哈哈,其实都是用来玩的,真正生产力能有多少。玩个开心,不管软件硬件,玩开心就好。

        A
        A
        applejuice
        技术大牛 劳动模范
        编写于 最后由 编辑
        #34

        @fcme 真的 我的机器就只有我整理公司文件才用到

        1 条回复 最后回复
        1
        • Kuo Ke HungK
          Kuo Ke HungK
          Kuo Ke Hung
          编写于 最后由 编辑
          #35

          chrome_20261011_151600.jpg
          今天花了一整天叫AI把它整個跑通了。真的非常快,第一次看到200tokens這種數字,decode時字出來的速度看著就爽。但同樣的剛出來的關係吧,問題很多,我覺得無法實用,就撤掉換回strata了。

          1. context 太小96K (不好調整)
          2. 並發預設8,而且是硬限制,其它數字調下去立刻crash,所以無法從這掙vRam
          3. vision預設沒掛,掛上去的話無法跑(忘了什麼原因,印象中會crash),除非把MTP拿掉,MTP拿掉直接破功,只剩90token
            目前感覺玩玩可以,不過可能先等作者調整後比較好。
            我是9700Pro雙卡, MSI X670E Carbon Wifi + 128G DDR5
          fcmeF paul houP 2 条回复 最后回复
          0
          • Kuo Ke HungK Kuo Ke Hung

            chrome_20261011_151600.jpg
            今天花了一整天叫AI把它整個跑通了。真的非常快,第一次看到200tokens這種數字,decode時字出來的速度看著就爽。但同樣的剛出來的關係吧,問題很多,我覺得無法實用,就撤掉換回strata了。

            1. context 太小96K (不好調整)
            2. 並發預設8,而且是硬限制,其它數字調下去立刻crash,所以無法從這掙vRam
            3. vision預設沒掛,掛上去的話無法跑(忘了什麼原因,印象中會crash),除非把MTP拿掉,MTP拿掉直接破功,只剩90token
              目前感覺玩玩可以,不過可能先等作者調整後比較好。
              我是9700Pro雙卡, MSI X670E Carbon Wifi + 128G DDR5
            fcmeF
            fcmeF
            fcme
            超凡大师
            编写于 最后由 编辑
            #36

            @Kuo-Ke-Hung
            不错,不错,你用的是哪个版本的vllm?
            搞得我都有点心痒痒,等paiton再更新一波再说

            Kuo Ke HungK 1 条回复 最后回复
            0
            • Kuo Ke HungK Kuo Ke Hung

              chrome_20261011_151600.jpg
              今天花了一整天叫AI把它整個跑通了。真的非常快,第一次看到200tokens這種數字,decode時字出來的速度看著就爽。但同樣的剛出來的關係吧,問題很多,我覺得無法實用,就撤掉換回strata了。

              1. context 太小96K (不好調整)
              2. 並發預設8,而且是硬限制,其它數字調下去立刻crash,所以無法從這掙vRam
              3. vision預設沒掛,掛上去的話無法跑(忘了什麼原因,印象中會crash),除非把MTP拿掉,MTP拿掉直接破功,只剩90token
                目前感覺玩玩可以,不過可能先等作者調整後比較好。
                我是9700Pro雙卡, MSI X670E Carbon Wifi + 128G DDR5
              paul houP
              paul houP
              paul hou
              德高望重 劳动模范
              编写于 最后由 编辑
              #37

              @Kuo-Ke-Hung
              看來還是要等paiton出200k以上的版本了。

              1 条回复 最后回复
              0
              • fcmeF fcme

                @Kuo-Ke-Hung
                不错,不错,你用的是哪个版本的vllm?
                搞得我都有点心痒痒,等paiton再更新一波再说

                Kuo Ke HungK
                Kuo Ke HungK
                Kuo Ke Hung
                编写于 最后由 编辑
                #38

                @fcme 用的是paiton的docker image, 版本就它文裡提到的paiton-vllm-plugin:qwen38-flashnext-rocm10-vllm029-20261010-r1

                fcmeF 1 条回复 最后回复
                0
                • Kuo Ke HungK Kuo Ke Hung

                  @fcme 用的是paiton的docker image, 版本就它文裡提到的paiton-vllm-plugin:qwen38-flashnext-rocm10-vllm029-20261010-r1

                  fcmeF
                  fcmeF
                  fcme
                  超凡大师
                  编写于 最后由 fcme 编辑
                  #39

                  @Kuo-Ke-Hung
                  不错,不错,他这个库更新比较快,估计下周基本上就稳定了,紧密观察一下先。
                  不过看你这个速度,如果单卡都能跑成这样,而且跑稳了的话,貌似双卡的意义就不大了,这个已经很快了。

                  1 条回复 最后回复
                  0
                  • Y
                    Y
                    yu
                    编写于 最后由 yu 编辑
                    #40

                    9/2買撼訊R9700 52100台幣合人民幣10919元,因為國外反應待機無負載仍有高頻音,個人對聲音比較敏感,幾經考慮後退掉了。後來該卡在我退貨後也漲到59000, 此時我馬上買下技嘉60890元(12761人民幣),之前價差讓我掙扎,既然撼訊漲上來也不用多做考慮。技嘉的用料及噪音表現是比較優秀的,5年保固期也比撼訊要長。美國amazon在9月技嘉和華碩都是1699美元,一度考慮過,現在10月amazon價格也來到1960美元了。
                    目前手上已經有兩張5060ti跑strata還算滿意,R9700之後應該是投入comfyui. 還好另一台機器沒辦法雙卡,不然我可能又忍不住再買一張R9700

                    XXXX 1 条回复 最后回复
                    1
                    • XiaoteX
                      XiaoteX
                      Xiaote
                      编写于 最后由 编辑
                      #41

                      🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励,感谢分享!

                      奖励凭证:热议 +3 分 · 编号 h2253-1142-1(系统自动发放,显示稍有延迟)

                      老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                      1 条回复 最后回复
                      0
                      • Y yu

                        9/2買撼訊R9700 52100台幣合人民幣10919元,因為國外反應待機無負載仍有高頻音,個人對聲音比較敏感,幾經考慮後退掉了。後來該卡在我退貨後也漲到59000, 此時我馬上買下技嘉60890元(12761人民幣),之前價差讓我掙扎,既然撼訊漲上來也不用多做考慮。技嘉的用料及噪音表現是比較優秀的,5年保固期也比撼訊要長。美國amazon在9月技嘉和華碩都是1699美元,一度考慮過,現在10月amazon價格也來到1960美元了。
                        目前手上已經有兩張5060ti跑strata還算滿意,R9700之後應該是投入comfyui. 還好另一台機器沒辦法雙卡,不然我可能又忍不住再買一張R9700

                        XXXX
                        XXXX
                        XXX
                        编写于 最后由 编辑
                        #42

                        @yu 撼訊3年保, 技嘉5年保.

                        Y 1 条回复 最后回复
                        0
                        • XXXX XXX

                          @yu 撼訊3年保, 技嘉5年保.

                          Y
                          Y
                          yu
                          编写于 最后由 编辑
                          #43

                          @XXX said:

                          @yu 撼訊3年保, 技嘉5年保.

                          我曉得啊 所以當撼訊漲到59k以上,可以毫不猶豫的下手技嘉。

                          1 条回复 最后回复
                          0
                          • stxpnetS
                            stxpnetS
                            stxpnet
                            超凡大师
                            编写于 最后由 编辑
                            #44

                            image.jpeg

                            image.jpeg

                            等吧。14号还有大的。 这是作者昨晚发的。

                            双卡3090 PCIE 4.0 16X/16X

                            白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
                            夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
                            1 条回复 最后回复
                            0
                            • stxpnetS
                              stxpnetS
                              stxpnet
                              超凡大师
                              编写于 最后由 stxpnet 编辑
                              #45

                              image.jpeg
                              image.jpeg
                              还有这个。4卡R9700 ,聚合输出 4583 t/s ,我靠。啥概念? 作者应该不会玩虚的。。。。
                              https://x.com/coldniko/status/2109371125129970071
                              并发 | 6 in flight(Slots 6/8,G0-G3 四个 group,G0/G1/G2 各 2 路,G3 空闲) 。

                              R9700这要炒上18000吧?
                              再换个思路,如果QFN 3.8可以,那GLM 5.3 FLASH按参数量换算,也能达到QFN至少1/2的 吐字效率吧?。。。。

                              双卡3090 PCIE 4.0 16X/16X

                              白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
                              夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
                              Y fcmeF 2 条回复 最后回复
                              0
                              • stxpnetS stxpnet

                                image.jpeg
                                image.jpeg
                                还有这个。4卡R9700 ,聚合输出 4583 t/s ,我靠。啥概念? 作者应该不会玩虚的。。。。
                                https://x.com/coldniko/status/2109371125129970071
                                并发 | 6 in flight(Slots 6/8,G0-G3 四个 group,G0/G1/G2 各 2 路,G3 空闲) 。

                                R9700这要炒上18000吧?
                                再换个思路,如果QFN 3.8可以,那GLM 5.3 FLASH按参数量换算,也能达到QFN至少1/2的 吐字效率吧?。。。。

                                Y
                                Y
                                yu
                                编写于 最后由 编辑
                                #46

                                @stxpnet 2張R9700也能吃到效果嗎? 2張還可以拚一下,4張實在整不來。

                                1 条回复 最后回复
                                0
                                • stxpnetS
                                  stxpnetS
                                  stxpnet
                                  超凡大师
                                  编写于 最后由 编辑
                                  #47

                                  应该有,估计有人把自己的4XR9700 给作者去调试了.挖到金矿.

                                  双卡3090 PCIE 4.0 16X/16X

                                  白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
                                  夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
                                  1 条回复 最后回复
                                  1
                                  • paul houP paul hou

                                    @applejuice
                                    我當初台幣700/16g買的,現在已經漲快6倍了。

                                    imbiplaza ASUSI
                                    imbiplaza ASUSI
                                    imbiplaza ASUS
                                    谪仙人
                                    编写于 最后由 编辑
                                    #48

                                    @paul-hou
                                    试一试找找看fanxiang....他起价没有那么夸张 (3倍 - 4倍左右)

                                    paul houP 1 条回复 最后回复
                                    0
                                    • imbiplaza ASUSI imbiplaza ASUS

                                      @paul-hou
                                      试一试找找看fanxiang....他起价没有那么夸张 (3倍 - 4倍左右)

                                      paul houP
                                      paul houP
                                      paul hou
                                      德高望重 劳动模范
                                      编写于 最后由 编辑
                                      #49

                                      @imbiplaza-ASUS
                                      淘寶才有3-4倍,台灣店面都是6倍起跳了。

                                      1 条回复 最后回复
                                      0
                                      • Magic629M Magic629

                                        主板:技嘉AORE G 两个PCIe5.0x8走的都是CPU,双R9700显卡,提示以下错误!

                                        以下信息是什么意思?求助各位大佬们
                                        你的判断方向是对的——两卡确实都直连 CPU(root port 00:06.0/00:06.3),物理上具备 P2P 条件。但实测 P2P 仍被掐死,元凶是 root port 上 ACS 的三个阻断位全开(ReqRedir+ CmpltRedir+ UpstreamFwd+),强制卡间流量绕道内存。这是 Intel 消费级平台(Arrow Lake)为 VT-d 隔离硬连线的,BIOS 关不掉,iommu=pt 也救不了——所以不是驱动没配好,是主板级天花板。当前 53 tok/s 已经是这台机器能榨出的最优解了。

                                        记忆已更新(修正了之前"硬件无 P2P"的旧结论 → 实锤为"ACS 隔离"),下次不会再拿旧说法糊弄你。

                                        屏幕截图 2026-10-11 182908.png

                                        Simon Li 0S
                                        Simon Li 0S
                                        Simon Li 0
                                        编写于 最后由 编辑
                                        #50

                                        @Magic629 论坛似乎还没有Intel 消费级平台跑通P2P的吧,跟主板拆不拆分没关系,是平台不行,论坛大神们跑通的都是AM4、AM5和X99、EPYC这些。我也是小白,不知道说的对不对,你要是跑通的记得带带我啊哈哈哈

                                        A stxpnetS 2 条回复 最后回复
                                        0
                                        • Simon Li 0S Simon Li 0

                                          @Magic629 论坛似乎还没有Intel 消费级平台跑通P2P的吧,跟主板拆不拆分没关系,是平台不行,论坛大神们跑通的都是AM4、AM5和X99、EPYC这些。我也是小白,不知道说的对不对,你要是跑通的记得带带我啊哈哈哈

                                          A
                                          A
                                          applejuice
                                          技术大牛 劳动模范
                                          编写于 最后由 编辑
                                          #51

                                          @Simon-Li-0 我也是新手
                                          但是我是完全新入手
                                          所以直接奔着服务器级别来买

                                          Simon Li 0S 1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组