跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 雙R9700玩qfn的朋友又有得玩了

雙R9700玩qfn的朋友又有得玩了

已定时 已固定 已锁定 已移动 热议 LLM讨论区
r9700qwen-flash多卡部署
55 帖子 16 发布者 766 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • paul houP paul hou

    @张光璞
    STRATA又更新了,單R9700的PREFILL上升19%

    Prompt MMQ(PF_FUSED_NATIVE=0) Fused int8 kernel 提升
    7,118 tok 3,953 ms(1,801 tok/s) 3,309 ms(2,160 tok/s) +19.5%
    14,244 tok 7,567 ms(1,882 tok/s) 6,318 ms(2,256 tok/s) +19.8%
    张光璞张
    张光璞张
    张光璞
    技术大牛 劳动模范
    编写于 最后由 编辑
    #13

    @paul-hou 说:

    @张光璞
    STRATA又更新了,單R9700的PREFILL上升19%

    Prompt MMQ(PF_FUSED_NATIVE=0) Fused int8 kernel 提升
    7,118 tok 3,953 ms(1,801 tok/s) 3,309 ms(2,160 tok/s) +19.5%
    14,244 tok 7,567 ms(1,882 tok/s) 6,318 ms(2,256 tok/s) +19.8%

    我的9700 供电没解决,12V会被用电尖峰拉跳闸。 降频降压解决不了。

    只能改电源了。

    lesslin xiuL 1 条回复 最后回复
    1
    • paul houP paul hou

      @张光璞
      STRATA又更新了,單R9700的PREFILL上升19%

      Prompt MMQ(PF_FUSED_NATIVE=0) Fused int8 kernel 提升
      7,118 tok 3,953 ms(1,801 tok/s) 3,309 ms(2,160 tok/s) +19.5%
      14,244 tok 7,567 ms(1,882 tok/s) 6,318 ms(2,256 tok/s) +19.8%
      fcmeF
      fcmeF
      fcme
      超凡大师
      编写于 最后由 编辑
      #14

      @paul-hou
      被这帖子搞的都有点心痒痒想入第二块9700😏

      张光璞张 1 条回复 最后回复
      0
      • fcmeF
        fcmeF
        fcme
        超凡大师
        编写于 最后由 编辑
        #15

        有了第二块以后,上下文加并发加速度全齐。感觉一个两三个人甚至三四个人的小团队使用都没有问题了,看来这个r9700的潜力现在是终于被榨出来了

        paul houP 1 条回复 最后回复
        0
        • fcmeF fcme

          有了第二块以后,上下文加并发加速度全齐。感觉一个两三个人甚至三四个人的小团队使用都没有问题了,看来这个r9700的潜力现在是终于被榨出来了

          paul houP
          paul houP
          paul hou
          德高望重 劳动模范
          编写于 最后由 编辑
          #16

          @fcme
          確實讓人很想要第二塊R9700,不過現階段夠用就好,到時又要換qwen4 27B,單張應該還是能打的。

          1 条回复 最后回复
          0
          • fcmeF fcme

            @paul-hou
            被这帖子搞的都有点心痒痒想入第二块9700😏

            张光璞张
            张光璞张
            张光璞
            技术大牛 劳动模范
            编写于 最后由 编辑
            #17

            @fcme 说:

            @paul-hou
            被这帖子搞的都有点心痒痒想入第二块9700😏

            昨天看到此贴时去京东看了下价,盈通的9700 都 14000了

            fcmeF 1 条回复 最后回复
            0
            • johnnybegoodJ
              johnnybegoodJ
              johnnybegood
              超凡大师
              编写于 最后由 编辑
              #18

              看这一轮轮军备竞赛, 我只想说一句话:

              吾生也有涯,而知也无涯。以有涯随无涯,殆已!

              张光璞张 1 条回复 最后回复
              1
              • 张光璞张 张光璞

                @fcme 说:

                @paul-hou
                被这帖子搞的都有点心痒痒想入第二块9700😏

                昨天看到此贴时去京东看了下价,盈通的9700 都 14000了

                fcmeF
                fcmeF
                fcme
                超凡大师
                编写于 最后由 编辑
                #19

                @张光璞
                哈哈,反应这么快么,我这里还是只要2299刀折合10750RMB,感觉还算有性价比。

                A 1 条回复 最后回复
                0
                • fcmeF fcme

                  @张光璞
                  哈哈,反应这么快么,我这里还是只要2299刀折合10750RMB,感觉还算有性价比。

                  A
                  A
                  applejuice
                  技术大牛 劳动模范
                  编写于 最后由 applejuice 编辑
                  #20

                  @fcme 我这里有个卖3个月2手2000美金
                  感觉是三个月前买了玩不下去的玩家

                  fcmeF 1 条回复 最后回复
                  0
                  • A applejuice

                    @fcme 我这里有个卖3个月2手2000美金
                    感觉是三个月前买了玩不下去的玩家

                    fcmeF
                    fcmeF
                    fcme
                    超凡大师
                    编写于 最后由 编辑
                    #21

                    @applejuice
                    你要买的话看看asrock的,做工好,价格还便宜。美国应该有的

                    A 1 条回复 最后回复
                    0
                    • fcmeF fcme

                      @applejuice
                      你要买的话看看asrock的,做工好,价格还便宜。美国应该有的

                      A
                      A
                      applejuice
                      技术大牛 劳动模范
                      编写于 最后由 applejuice 编辑
                      #22

                      @fcme 我在新加坡 但是我以为 sapphire 最好了?
                      我不买了 除非把3090出掉
                      不然要换机箱电源

                      fcmeF 1 条回复 最后回复
                      0
                      • johnnybegoodJ johnnybegood

                        看这一轮轮军备竞赛, 我只想说一句话:

                        吾生也有涯,而知也无涯。以有涯随无涯,殆已!

                        张光璞张
                        张光璞张
                        张光璞
                        技术大牛 劳动模范
                        编写于 最后由 编辑
                        #23

                        @johnnybegood 说:

                        看这一轮轮军备竞赛, 我只想说一句话:

                        吾生也有涯,而知也无涯。以有涯随无涯,殆已!

                        没有人会嫌输出快。看到新框架总是想试试的。 当软件成为瓶颈的时候只能折腾硬件了

                        1 条回复 最后回复
                        0
                        • A applejuice

                          @fcme 我在新加坡 但是我以为 sapphire 最好了?
                          我不买了 除非把3090出掉
                          不然要换机箱电源

                          fcmeF
                          fcmeF
                          fcme
                          超凡大师
                          编写于 最后由 编辑
                          #24

                          @applejuice
                          哦哦!其实单卡的话,把那个功耗限制到250W一点问题没有,散热问题也解决了,性能损失一点点,好像也就2-3%的样子。
                          我总的来说还是看自己需求吧,我很有可能要入

                          1 条回复 最后回复
                          0
                          • tmp tmpT
                            tmp tmpT
                            tmp tmp
                            编写于 最后由 编辑
                            #25

                            r9700玩qfn的速度,也跟内存的速度相关吧。ddr3 1866的内存(双通道)有没有得玩啊?

                            1 条回复 最后回复
                            1
                            • paul houP
                              paul houP
                              paul hou
                              德高望重 劳动模范
                              编写于 最后由 paul hou 编辑
                              #26

                              我是DDR4 3200 32G 雙通道

                              A 1 条回复 最后回复
                              0
                              • paul houP paul hou

                                我是DDR4 3200 32G 雙通道

                                A
                                A
                                applejuice
                                技术大牛 劳动模范
                                编写于 最后由 编辑
                                #27

                                @paul-hou 现在ddr4 3200 太贵了

                                paul houP 1 条回复 最后回复
                                0
                                • A applejuice

                                  @paul-hou 现在ddr4 3200 太贵了

                                  paul houP
                                  paul houP
                                  paul hou
                                  德高望重 劳动模范
                                  编写于 最后由 编辑
                                  #28

                                  @applejuice
                                  我當初台幣700/16g買的,現在已經漲快6倍了。

                                  A imbiplaza ASUSI 2 条回复 最后回复
                                  0
                                  • fcmeF
                                    fcmeF
                                    fcme
                                    超凡大师
                                    编写于 最后由 编辑
                                    #29

                                    我的flash next说让我观望一下如果作者后续的针对R9700运行flash模型的3bit/4bit的优化做好了可能速度比27B还快,就没必要上双卡了,拭目以待😃😃😃

                                    A 1 条回复 最后回复
                                    0
                                    • paul houP paul hou

                                      @applejuice
                                      我當初台幣700/16g買的,現在已經漲快6倍了。

                                      A
                                      A
                                      applejuice
                                      技术大牛 劳动模范
                                      编写于 最后由 编辑
                                      #30

                                      @paul-hou
                                      为了玩strata
                                      4个月前 内存还无关重要
                                      所以我我买了2133 32gbx2

                                      因为strata
                                      但是又买不起3200
                                      所以刚刚换了8x32gb 2666...

                                      除了3090 整架机器已经不是4个月前的机器了

                                      1 条回复 最后回复
                                      0
                                      • fcmeF fcme

                                        我的flash next说让我观望一下如果作者后续的针对R9700运行flash模型的3bit/4bit的优化做好了可能速度比27B还快,就没必要上双卡了,拭目以待😃😃😃

                                        A
                                        A
                                        applejuice
                                        技术大牛 劳动模范
                                        编写于 最后由 编辑
                                        #31

                                        @fcme 对硬件的追求是无止境的 😆

                                        当初买pro 6000 的现在应该想着买多一块pro 6000

                                        fcmeF 1 条回复 最后回复
                                        0
                                        • A applejuice

                                          @fcme 对硬件的追求是无止境的 😆

                                          当初买pro 6000 的现在应该想着买多一块pro 6000

                                          fcmeF
                                          fcmeF
                                          fcme
                                          超凡大师
                                          编写于 最后由 编辑
                                          #32

                                          @applejuice
                                          哈哈哈,其实都是用来玩的,真正生产力能有多少。玩个开心,不管软件硬件,玩开心就好。

                                          A 1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组