跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 现在想买一张新卡跑qwen3.8 27b, 预算1w左右

现在想买一张新卡跑qwen3.8 27b, 预算1w左右

已定时 已固定 已锁定 已移动 热议 AI硬件
r9700qwen-27b本地模型
24 帖子 14 发布者 1.0k 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • 番茄胡萝卜番
    番茄胡萝卜番
    番茄胡萝卜
    发表于 最后由 编辑
    #2

    预算尬尴,现在1W没有什么好卡。游戏卡5070TI都要1W了吧。要不把6900卖掉,买两张7900XTX?

    1 条回复 最后回复
    0
    • terryT
      terryT
      terry
      易有太极
      发表于 最后由 编辑
      #3

      R9700,能买就是它,XTX是退而求其次,因为涨价了,有合适的二手就买XTX,R9700单卡可以跑SGLang,XTX不能。

      油管:https://www.youtube.com/@抡锤者

      Karin TensionK tmp tmpT 2 条回复 最后回复
      1
      • terryT terry

        R9700,能买就是它,XTX是退而求其次,因为涨价了,有合适的二手就买XTX,R9700单卡可以跑SGLang,XTX不能。

        Karin TensionK
        Karin TensionK
        Karin Tension
        发表于 最后由 编辑
        #4

        @terry 原来如此,我是觉得xtx没有fp8而且单卡显存大小稍微有些尴尬,感觉不太划算就排除了。

        1 条回复 最后回复
        0
        • imbiplaza ASUSI
          imbiplaza ASUSI
          imbiplaza ASUS
          谪仙人
          发表于 最后由 imbiplaza ASUS 编辑
          #5

          看规格,6900xt不比r9700pro 慢,core 也比r9700pro 多。。。
          唯一最大分别就是16gb vram vs 32gb vram
          & bandwith 快一点 512GB/s vs 640GB/s...
          现在的r9700pro 太贵了。。。

          1 条回复 最后回复
          1
          • 番茄胡萝卜番
            番茄胡萝卜番
            番茄胡萝卜
            发表于 最后由 编辑
            #6

            @imbiplaza-asus
            6900XT 是RDNA2的卡,ROCM支持不好。RDNA2的卡,从6800开始支持ROcM,6800开始是大核心

            1 条回复 最后回复
            0
            • Karin TensionK Karin Tension

              现在手上有张6900xt,但感觉太慢了。
              目前想买ai pro r9700,不知道有没有更好的选择?
              还有就是fp8有没有必要,希望可以战未来。
              希望大家给点建议。

              XiaoteX
              XiaoteX
              Xiaote
              易有太极
              发表于 最后由 编辑
              #7

              跑 27B 选 R9700 32G 方向没问题,补几点可验证的判断:

              • 27B Q4_K_M 约 16–18G,32G 能留 10G+ 给 KV,长 ctx / 多并发才够;16G 或 24G 的卡会先卡在显存。
              • FP8 对 27B 单卡意义有限:FP8 权重就约 27G,加 KV 基本顶到 32G,实际还是 Q4/Q5 + FP16 KV 更实用。RDNA4 的 FP8 更多是给以后更大的模型 / 更高吞吐留路。
              • 战未来这点 R9700 赢在软件栈:gfx1201 + ROCm 7.x + SGLang/HIP 都跟上了;7900XTX 是 RDNA3、无 FP8,SGLang 支持也不如 RDNA4。
              • 代价是 ROCm 生态比 CUDA 新,踩坑排查成本高;纯 llama.cpp HIP 已经可用。相对 6900XT,R9700 是带宽 640 vs 512 GB/s、显存翻倍、ROCm 支持正常,单卡 27B 的提升是实打实的。

              老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

              Karin TensionK 1 条回复 最后回复
              0
              • XiaoteX Xiaote

                跑 27B 选 R9700 32G 方向没问题,补几点可验证的判断:

                • 27B Q4_K_M 约 16–18G,32G 能留 10G+ 给 KV,长 ctx / 多并发才够;16G 或 24G 的卡会先卡在显存。
                • FP8 对 27B 单卡意义有限:FP8 权重就约 27G,加 KV 基本顶到 32G,实际还是 Q4/Q5 + FP16 KV 更实用。RDNA4 的 FP8 更多是给以后更大的模型 / 更高吞吐留路。
                • 战未来这点 R9700 赢在软件栈:gfx1201 + ROCm 7.x + SGLang/HIP 都跟上了;7900XTX 是 RDNA3、无 FP8,SGLang 支持也不如 RDNA4。
                • 代价是 ROCm 生态比 CUDA 新,踩坑排查成本高;纯 llama.cpp HIP 已经可用。相对 6900XT,R9700 是带宽 640 vs 512 GB/s、显存翻倍、ROCm 支持正常,单卡 27B 的提升是实打实的。
                Karin TensionK
                Karin TensionK
                Karin Tension
                发表于 最后由 编辑
                #8

                @Xiaote 感谢补充信息!我相信过两年amd会自己长出cuda的w

                XiaoteX 1 条回复 最后回复
                0
                • Karin TensionK Karin Tension

                  @Xiaote 感谢补充信息!我相信过两年amd会自己长出cuda的w

                  XiaoteX
                  XiaoteX
                  Xiaote
                  易有太极
                  发表于 最后由 编辑
                  #9

                  CUDA 那层护城河是软件生态,不是驱动,两三年长不出来;但 ROCm 这两年的追赶是实打实的:gfx1201 + ROCm 7.x 已经能跑 llama.cpp / SGLang,日常推理这条路够用,差距主要在训练和算子覆盖。

                  所以挑 R9700 别把「等生态成熟」当理由,就当它现在能跑、32G 够用;生态哪天长齐了算加分,真到那天这张卡也不会掉队。

                  老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                  1 条回复 最后回复
                  0
                  • terryT terry

                    R9700,能买就是它,XTX是退而求其次,因为涨价了,有合适的二手就买XTX,R9700单卡可以跑SGLang,XTX不能。

                    tmp tmpT
                    tmp tmpT
                    tmp tmp
                    发表于 最后由 tmp tmp 编辑
                    #10

                    @terry 锤哥,sglang具体好在哪里啊?我r9700单卡跑Sglang有24token/s的速度,大llama.cpp和vllm要慢不少。🙏

                    1 条回复 最后回复
                    0
                    • Alexander LeeA
                      Alexander LeeA
                      Alexander Lee
                      体面乡绅
                      发表于 最后由 编辑
                      #11

                      锤锤不是一直都在推荐 7900XTX 么

                      GeekyangG 1 条回复 最后回复
                      0
                      • williamlouisW
                        williamlouisW
                        williamlouis
                        易有太极
                        发表于 最后由 编辑
                        #12

                        看视频或帖子了吗?双卡 sglang。

                        个人主页:xlkj.org Telegram https://t.me/xlkjorg

                        tmp tmpT GeekyangG 2 条回复 最后回复
                        0
                        • BunseiB
                          BunseiB
                          Bunsei
                          王侯将相
                          发表于 最后由 Bunsei 编辑
                          #13

                          R9700 最佳的应该是两张,单张的话也能跑,但是速度比较慢。单纯为了Qwen3.8-27B这一个模型,不如直接2080 + NVLINK

                          1 条回复 最后回复
                          0
                          • Alexander LeeA
                            Alexander LeeA
                            Alexander Lee
                            体面乡绅
                            发表于 最后由 编辑
                            #14

                            还有人用两台 mac mini 24G联机跑 Qwen3.8 27B 差不多也是一万出头

                            1 条回复 最后回复
                            0
                            • lesslin xiuL
                              lesslin xiuL
                              lesslin xiu
                              发表于 最后由 编辑
                              #15

                              刚刚买R9700 ,有点吵。
                              图片.jpeg

                              GeekyangG 1 条回复 最后回复
                              0
                              • williamlouisW williamlouis

                                看视频或帖子了吗?双卡 sglang。

                                tmp tmpT
                                tmp tmpT
                                tmp tmp
                                发表于 最后由 编辑
                                #16

                                @williamlouis 看到过贴子,没看到视频,但我记得双卡sglang的速度也不是很高,跟vllm单卡的速度差不多。

                                1 条回复 最后回复
                                0
                                • stxpnetS
                                  stxpnetS
                                  stxpnet
                                  王侯将相
                                  发表于 最后由 编辑
                                  #17

                                  御三家都在喊停了,是不是硬件价格高峰了, 这时候想买好卡感觉挺困难

                                  双卡3090 PCIE 4.0 16X/16X

                                  白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
                                  夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
                                  1 条回复 最后回复
                                  0
                                  • dardeaw fengD
                                    dardeaw fengD
                                    dardeaw feng
                                    硕果累累 贵族大夫
                                    发表于 最后由 编辑
                                    #18

                                    RDNA2 沒有WMMA加速器 會退回到ALU運算

                                    1 条回复 最后回复
                                    0
                                    • williamlouisW
                                      williamlouisW
                                      williamlouis
                                      易有太极
                                      发表于 最后由 编辑
                                      #19

                                      1W 太少了。不如订阅了。

                                      个人主页:xlkj.org Telegram https://t.me/xlkjorg

                                      1 条回复 最后回复
                                      0
                                      • tyaprinT
                                        tyaprinT
                                        tyaprin
                                        发表于 最后由 编辑
                                        #20

                                        手裡還有一張空閒兩年的 4080 非S,不知道值幾兩銀,自己的無塵環境用了一年半,一點灰都沒有

                                        1 条回复 最后回复
                                        0
                                        • Alexander LeeA Alexander Lee

                                          锤锤不是一直都在推荐 7900XTX 么

                                          GeekyangG
                                          GeekyangG
                                          Geekyang
                                          已封禁
                                          发表于 最后由 编辑
                                          #21

                                          @Alexander-Lee 7900XTX 蓝宝石的做工确实没得说,单卡我也想买一张。但是如果双卡跑模型,7900XTX并不合适,主要的问题,不是RDNA3,也不是显卡,是尺寸。太特么厚了。一张卡 整整占了7CM厚度。

                                          1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组