跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 【分享】原地升天!R9700x2 从 Qwen3.8-27B-MXFP4 到 Qwen3.8-Flash-Next IQ4_R

【分享】原地升天!R9700x2 从 Qwen3.8-27B-MXFP4 到 Qwen3.8-Flash-Next IQ4_R

已定时 已固定 已锁定 已移动 热议 优秀 LLM讨论区
r9700qwen多卡部署
39 帖子 13 发布者 1.6k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • 张光璞张 张光璞

    @paul-hou 说:

    @applejuice 说:

    @linkdesu 测一测512k context context offload 去ram strata 唯一的好处就是长上下文几乎没衰减

    radiance用qfn也幾乎沒衰減,27B就衰減的很快比不上 sly vllm和paiton vllm,現在的radiance不算是vllm,已經是獨立的引擎和框架了,優點就是啟動不用一分鐘,vllm都是3分鐘起步。

    说的我都心动了,现在是2块7900XTX 在跑QFN 。另两块9700 闲置。
    已经采购电源模块准备折腾
    image.jpeg

    image.jpeg

    linkdesuL
    linkdesuL
    linkdesu
    体面乡绅
    编写于 最后由 编辑
    #22

    @张光璞 这电源太夯了,我看到 1600W 要用空调插座,想了想家里提前也没考虑这布线,还是就上了 1200W 稳一点了 😂

    张光璞张 1 条回复 最后回复
    0
    • 张光璞张 张光璞

      双9700 这么猛 ,主要模型还是IQ4 ,我双7900XTX 跑 iq3S 也就70的速度

      空语空
      空语空
      空语
      编写于 最后由 编辑
      #23

      @张光璞 那你这双7900还不如单7900啊

      张光璞张 1 条回复 最后回复
      0
      • XiaoteX
        XiaoteX
        Xiaote
        易有太极
        编写于 最后由 编辑
        #24

        🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!

        奖励凭证:热议 +3 分 · 编号 h2807-1746-1

        老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

        1 条回复 最后回复
        0
        • paul houP
          paul houP
          paul hou
          硕果累累 贵族大夫
          编写于 最后由 paul hou 编辑
          #25

          RADIANCE的2併發還滿順暢的
          模型是frank8465/Swift-1.5-Qwen3.8-Flash-Next-GPTQ-W4A8-Radiance-AMD-R9700

          image.jpeg

          张光璞张 1 条回复 最后回复
          1
          • 空语空 空语

            @张光璞 那你这双7900还不如单7900啊

            张光璞张
            张光璞张
            张光璞
            贵族大夫 硕果累累
            编写于 最后由 编辑
            #26

            @空语 说:

            @张光璞 那你这双7900还不如单7900啊

            我是双卡双实例。 没跑TP。 并且我出口只有gen3x8 (疑似) 下游接的是交换机配双7900xtx

            1 条回复 最后回复
            0
            • linkdesuL linkdesu

              @张光璞 这电源太夯了,我看到 1600W 要用空调插座,想了想家里提前也没考虑这布线,还是就上了 1200W 稳一点了 😂

              张光璞张
              张光璞张
              张光璞
              贵族大夫 硕果累累
              编写于 最后由 编辑
              #27

              @linkdesu 说:

              @张光璞 这电源太夯了,我看到 1600W 要用空调插座,想了想家里提前也没考虑这布线,还是就上了 1200W 稳一点了 😂

              显卡瞬间能600w ,如果是4卡的话,你一提问直接就12V 短路保护。

              1 条回复 最后回复
              0
              • paul houP paul hou

                RADIANCE的2併發還滿順暢的
                模型是frank8465/Swift-1.5-Qwen3.8-Flash-Next-GPTQ-W4A8-Radiance-AMD-R9700

                image.jpeg

                张光璞张
                张光璞张
                张光璞
                贵族大夫 硕果累累
                编写于 最后由 编辑
                #28

                @paul-hou 说:

                RADIANCE的2併發還滿順暢的
                模型是frank8465/Swift-1.5-Qwen3.8-Flash-Next-GPTQ-W4A8-Radiance-AMD-R9700

                image.jpeg

                我已经下好了,今天晚上决战。

                1 条回复 最后回复
                1
                • 张光璞张 张光璞

                  双9700 这么猛 ,主要模型还是IQ4 ,我双7900XTX 跑 iq3S 也就70的速度

                  韦
                  韦
                  韦春花
                  体面乡绅
                  编写于 最后由 韦春花 编辑
                  #29

                  @张光璞 70确实低了,我7900xtx单卡跑IQ3S衰减后稳定在85-90tok/s,单卡跑Q4_k_xl在55-65tok/s。
                  e1c32734ccf68d8904a47443fb2f446d.jpg

                  张光璞张 1 条回复 最后回复
                  0
                  • 韦 韦春花

                    @张光璞 70确实低了,我7900xtx单卡跑IQ3S衰减后稳定在85-90tok/s,单卡跑Q4_k_xl在55-65tok/s。
                    e1c32734ccf68d8904a47443fb2f446d.jpg

                    张光璞张
                    张光璞张
                    张光璞
                    贵族大夫 硕果累累
                    编写于 最后由 编辑
                    #30

                    @韦春花 说:

                    @张光璞 70确实低了,我7900xtx单卡跑IQ3S衰减后稳定在85-90tok/s,单卡跑Q4_k_xl在55-65tok/s。

                    e1c32734ccf68d8904a47443fb2f446d.jpg

                    已经切换至双R9700 跑Radiance

                    paul houP shawn shenS 2 条回复 最后回复
                    1
                    • 张光璞张 张光璞

                      @韦春花 说:

                      @张光璞 70确实低了,我7900xtx单卡跑IQ3S衰减后稳定在85-90tok/s,单卡跑Q4_k_xl在55-65tok/s。

                      e1c32734ccf68d8904a47443fb2f446d.jpg

                      已经切换至双R9700 跑Radiance

                      paul houP
                      paul houP
                      paul hou
                      硕果累累 贵族大夫
                      编写于 最后由 编辑
                      #31

                      @张光璞

                      RADIANCE是跑IQ4,還是能明顯感覺到3BIT和4BIT還是有差的。

                      张光璞张 1 条回复 最后回复
                      0
                      • linkdesuL linkdesu

                        @paul-hou 谢谢分享,我去研究下,现在一个模型 100GB 多,下载起来不是一般的费机场流量,搞得我都不敢随便下了 😓

                        freeman gemmyF
                        freeman gemmyF
                        freeman gemmy
                        编写于 最后由 编辑
                        #32

                        @linkdesu 国内的魔塔社区没这个模型吗?

                        1 条回复 最后回复
                        0
                        • 张光璞张 张光璞

                          @韦春花 说:

                          @张光璞 70确实低了,我7900xtx单卡跑IQ3S衰减后稳定在85-90tok/s,单卡跑Q4_k_xl在55-65tok/s。

                          e1c32734ccf68d8904a47443fb2f446d.jpg

                          已经切换至双R9700 跑Radiance

                          shawn shenS
                          shawn shenS
                          shawn shen
                          编写于 最后由 编辑
                          #33

                          @张光璞 坛友推荐得这个:https://huggingface.co/frank8465/Swift-1.5-Qwen3.8-Flash-Next-GPTQ-W4A8-Radiance-AMD-R9700

                          张光璞张 1 条回复 最后回复
                          0
                          • paul houP paul hou

                            @张光璞

                            RADIANCE是跑IQ4,還是能明顯感覺到3BIT和4BIT還是有差的。

                            张光璞张
                            张光璞张
                            张光璞
                            贵族大夫 硕果累累
                            编写于 最后由 编辑
                            #34

                            @paul-hou 说:

                            @张光璞

                            RADIANCE是跑IQ4,還是能明顯感覺到3BIT和4BIT還是有差的。

                            我是半残P2P + 半残内存带宽 (我的一个内存槽报供电不足)

                            速度有125T Prefill 有3~4K . 我很满意

                            paul houP 1 条回复 最后回复
                            0
                            • shawn shenS shawn shen

                              @张光璞 坛友推荐得这个:https://huggingface.co/frank8465/Swift-1.5-Qwen3.8-Flash-Next-GPTQ-W4A8-Radiance-AMD-R9700

                              张光璞张
                              张光璞张
                              张光璞
                              贵族大夫 硕果累累
                              编写于 最后由 编辑
                              #35

                              @shawn-shen 说:

                              @张光璞 坛友推荐得这个:https://huggingface.co/frank8465/Swift-1.5-Qwen3.8-Flash-Next-GPTQ-W4A8-Radiance-AMD-R9700

                              现在跑的就是这个

                              1 条回复 最后回复
                              0
                              • 张光璞张 张光璞

                                @paul-hou 说:

                                @张光璞

                                RADIANCE是跑IQ4,還是能明顯感覺到3BIT和4BIT還是有差的。

                                我是半残P2P + 半残内存带宽 (我的一个内存槽报供电不足)

                                速度有125T Prefill 有3~4K . 我很满意

                                paul houP
                                paul houP
                                paul hou
                                硕果累累 贵族大夫
                                编写于 最后由 编辑
                                #36

                                @张光璞

                                DECODE差不多,PREFILL就慢了點,只比單卡快一些,這個目前試起來跟DRAM和PCIE是有相關。

                                张光璞张 1 条回复 最后回复
                                0
                                • paul houP paul hou

                                  @张光璞

                                  DECODE差不多,PREFILL就慢了點,只比單卡快一些,這個目前試起來跟DRAM和PCIE是有相關。

                                  张光璞张
                                  张光璞张
                                  张光璞
                                  贵族大夫 硕果累累
                                  编写于 最后由 编辑
                                  #37

                                  @paul-hou 说:

                                  @张光璞

                                  DECODE差不多,PREFILL就慢了點,只比單卡快一些,這個目前試起來跟DRAM和PCIE是有相關。

                                  我正好这两点是死穴,我原本是想把 CPU1 的内存带宽提上去,所以又单独买了两条 32G 的,想把内存插满 4 条。这好嘛,直接一个内存槽有问题,当场废了一半武功系!

                                  1 条回复 最后回复
                                  0
                                  • 张光璞张 张光璞

                                    双9700 这么猛 ,主要模型还是IQ4 ,我双7900XTX 跑 iq3S 也就70的速度

                                    坤
                                    坤
                                    坤坤
                                    体面乡绅 硕果累累
                                    编写于 最后由 编辑
                                    #38

                                    @张光璞 你肯定配置的不对,我也是双7900xtx,正常情况下稳在100左右,对了,我是64g内存,然后ddr4的pice3.0X8和X4的通道,输入最高能上3500左右,代码场景的话能上到130去,我开的386k上下文,超过256k上下文的时候降速到80左右

                                    张光璞张 1 条回复 最后回复
                                    0
                                    • 坤 坤坤

                                      @张光璞 你肯定配置的不对,我也是双7900xtx,正常情况下稳在100左右,对了,我是64g内存,然后ddr4的pice3.0X8和X4的通道,输入最高能上3500左右,代码场景的话能上到130去,我开的386k上下文,超过256k上下文的时候降速到80左右

                                      张光璞张
                                      张光璞张
                                      张光璞
                                      贵族大夫 硕果累累
                                      编写于 最后由 编辑
                                      #39

                                      @坤坤 说:

                                      @张光璞 你肯定配置的不对,我也是双7900xtx,正常情况下稳在100左右,对了,我是64g内存,然后ddr4的pice3.0X8和X4的通道,输入最高能上3500左右,代码场景的话能上到130去,我开的386k上下文,超过256k上下文的时候降速到80左右

                                      晚上到梁文谷的时候,再让鲸鲸调调。

                                      现在130t 左右 已经很满足了。

                                      1 条回复 最后回复
                                      0

                                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                      有了你的建议,这篇帖子会更精彩哦 💗

                                      注册 登录
                                      回复
                                      • 在新帖中回复
                                      登录后回复
                                      • 从旧到新
                                      • 从新到旧
                                      • 最多赞同


                                      • 登录

                                      • 登录或注册以进行搜索。
                                      • 第一个帖子
                                        最后一个帖子
                                      0
                                      • 版块
                                      • 最新
                                      • 标签
                                      • 热门
                                      • 用户
                                      • 群组