跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 现在想买一张新卡跑qwen3.8 27b, 预算1w左右

现在想买一张新卡跑qwen3.8 27b, 预算1w左右

已定时 已固定 已锁定 已移动 热议 AI硬件
r9700qwen-27b本地模型
24 帖子 14 发布者 1.0k 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • imbiplaza ASUSI
    imbiplaza ASUSI
    imbiplaza ASUS
    谪仙人
    发表于 最后由 imbiplaza ASUS 编辑
    #5

    看规格,6900xt不比r9700pro 慢,core 也比r9700pro 多。。。
    唯一最大分别就是16gb vram vs 32gb vram
    & bandwith 快一点 512GB/s vs 640GB/s...
    现在的r9700pro 太贵了。。。

    1 条回复 最后回复
    1
    • 番茄胡萝卜番
      番茄胡萝卜番
      番茄胡萝卜
      发表于 最后由 编辑
      #6

      @imbiplaza-asus
      6900XT 是RDNA2的卡,ROCM支持不好。RDNA2的卡,从6800开始支持ROcM,6800开始是大核心

      1 条回复 最后回复
      0
      • Karin TensionK Karin Tension

        现在手上有张6900xt,但感觉太慢了。
        目前想买ai pro r9700,不知道有没有更好的选择?
        还有就是fp8有没有必要,希望可以战未来。
        希望大家给点建议。

        XiaoteX
        XiaoteX
        Xiaote
        易有太极
        发表于 最后由 编辑
        #7

        跑 27B 选 R9700 32G 方向没问题,补几点可验证的判断:

        • 27B Q4_K_M 约 16–18G,32G 能留 10G+ 给 KV,长 ctx / 多并发才够;16G 或 24G 的卡会先卡在显存。
        • FP8 对 27B 单卡意义有限:FP8 权重就约 27G,加 KV 基本顶到 32G,实际还是 Q4/Q5 + FP16 KV 更实用。RDNA4 的 FP8 更多是给以后更大的模型 / 更高吞吐留路。
        • 战未来这点 R9700 赢在软件栈:gfx1201 + ROCm 7.x + SGLang/HIP 都跟上了;7900XTX 是 RDNA3、无 FP8,SGLang 支持也不如 RDNA4。
        • 代价是 ROCm 生态比 CUDA 新,踩坑排查成本高;纯 llama.cpp HIP 已经可用。相对 6900XT,R9700 是带宽 640 vs 512 GB/s、显存翻倍、ROCm 支持正常,单卡 27B 的提升是实打实的。

        老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

        Karin TensionK 1 条回复 最后回复
        0
        • XiaoteX Xiaote

          跑 27B 选 R9700 32G 方向没问题,补几点可验证的判断:

          • 27B Q4_K_M 约 16–18G,32G 能留 10G+ 给 KV,长 ctx / 多并发才够;16G 或 24G 的卡会先卡在显存。
          • FP8 对 27B 单卡意义有限:FP8 权重就约 27G,加 KV 基本顶到 32G,实际还是 Q4/Q5 + FP16 KV 更实用。RDNA4 的 FP8 更多是给以后更大的模型 / 更高吞吐留路。
          • 战未来这点 R9700 赢在软件栈:gfx1201 + ROCm 7.x + SGLang/HIP 都跟上了;7900XTX 是 RDNA3、无 FP8,SGLang 支持也不如 RDNA4。
          • 代价是 ROCm 生态比 CUDA 新,踩坑排查成本高;纯 llama.cpp HIP 已经可用。相对 6900XT,R9700 是带宽 640 vs 512 GB/s、显存翻倍、ROCm 支持正常,单卡 27B 的提升是实打实的。
          Karin TensionK
          Karin TensionK
          Karin Tension
          发表于 最后由 编辑
          #8

          @Xiaote 感谢补充信息!我相信过两年amd会自己长出cuda的w

          XiaoteX 1 条回复 最后回复
          0
          • Karin TensionK Karin Tension

            @Xiaote 感谢补充信息!我相信过两年amd会自己长出cuda的w

            XiaoteX
            XiaoteX
            Xiaote
            易有太极
            发表于 最后由 编辑
            #9

            CUDA 那层护城河是软件生态,不是驱动,两三年长不出来;但 ROCm 这两年的追赶是实打实的:gfx1201 + ROCm 7.x 已经能跑 llama.cpp / SGLang,日常推理这条路够用,差距主要在训练和算子覆盖。

            所以挑 R9700 别把「等生态成熟」当理由,就当它现在能跑、32G 够用;生态哪天长齐了算加分,真到那天这张卡也不会掉队。

            老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

            1 条回复 最后回复
            0
            • terryT terry

              R9700,能买就是它,XTX是退而求其次,因为涨价了,有合适的二手就买XTX,R9700单卡可以跑SGLang,XTX不能。

              tmp tmpT
              tmp tmpT
              tmp tmp
              发表于 最后由 tmp tmp 编辑
              #10

              @terry 锤哥,sglang具体好在哪里啊?我r9700单卡跑Sglang有24token/s的速度,大llama.cpp和vllm要慢不少。🙏

              1 条回复 最后回复
              0
              • Alexander LeeA
                Alexander LeeA
                Alexander Lee
                体面乡绅
                发表于 最后由 编辑
                #11

                锤锤不是一直都在推荐 7900XTX 么

                GeekyangG 1 条回复 最后回复
                0
                • williamlouisW
                  williamlouisW
                  williamlouis
                  易有太极
                  发表于 最后由 编辑
                  #12

                  看视频或帖子了吗?双卡 sglang。

                  个人主页:xlkj.org Telegram https://t.me/xlkjorg

                  tmp tmpT GeekyangG 2 条回复 最后回复
                  0
                  • BunseiB
                    BunseiB
                    Bunsei
                    王侯将相
                    发表于 最后由 Bunsei 编辑
                    #13

                    R9700 最佳的应该是两张,单张的话也能跑,但是速度比较慢。单纯为了Qwen3.8-27B这一个模型,不如直接2080 + NVLINK

                    1 条回复 最后回复
                    0
                    • Alexander LeeA
                      Alexander LeeA
                      Alexander Lee
                      体面乡绅
                      发表于 最后由 编辑
                      #14

                      还有人用两台 mac mini 24G联机跑 Qwen3.8 27B 差不多也是一万出头

                      1 条回复 最后回复
                      0
                      • lesslin xiuL
                        lesslin xiuL
                        lesslin xiu
                        发表于 最后由 编辑
                        #15

                        刚刚买R9700 ,有点吵。
                        图片.jpeg

                        GeekyangG 1 条回复 最后回复
                        0
                        • williamlouisW williamlouis

                          看视频或帖子了吗?双卡 sglang。

                          tmp tmpT
                          tmp tmpT
                          tmp tmp
                          发表于 最后由 编辑
                          #16

                          @williamlouis 看到过贴子,没看到视频,但我记得双卡sglang的速度也不是很高,跟vllm单卡的速度差不多。

                          1 条回复 最后回复
                          0
                          • stxpnetS
                            stxpnetS
                            stxpnet
                            王侯将相
                            发表于 最后由 编辑
                            #17

                            御三家都在喊停了,是不是硬件价格高峰了, 这时候想买好卡感觉挺困难

                            双卡3090 PCIE 4.0 16X/16X

                            白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
                            夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
                            1 条回复 最后回复
                            0
                            • dardeaw fengD
                              dardeaw fengD
                              dardeaw feng
                              硕果累累 贵族大夫
                              发表于 最后由 编辑
                              #18

                              RDNA2 沒有WMMA加速器 會退回到ALU運算

                              1 条回复 最后回复
                              0
                              • williamlouisW
                                williamlouisW
                                williamlouis
                                易有太极
                                发表于 最后由 编辑
                                #19

                                1W 太少了。不如订阅了。

                                个人主页:xlkj.org Telegram https://t.me/xlkjorg

                                1 条回复 最后回复
                                0
                                • tyaprinT
                                  tyaprinT
                                  tyaprin
                                  发表于 最后由 编辑
                                  #20

                                  手裡還有一張空閒兩年的 4080 非S,不知道值幾兩銀,自己的無塵環境用了一年半,一點灰都沒有

                                  1 条回复 最后回复
                                  0
                                  • Alexander LeeA Alexander Lee

                                    锤锤不是一直都在推荐 7900XTX 么

                                    GeekyangG
                                    GeekyangG
                                    Geekyang
                                    已封禁
                                    发表于 最后由 编辑
                                    #21

                                    @Alexander-Lee 7900XTX 蓝宝石的做工确实没得说,单卡我也想买一张。但是如果双卡跑模型,7900XTX并不合适,主要的问题,不是RDNA3,也不是显卡,是尺寸。太特么厚了。一张卡 整整占了7CM厚度。

                                    1 条回复 最后回复
                                    0
                                    • lesslin xiuL lesslin xiu

                                      刚刚买R9700 ,有点吵。
                                      图片.jpeg

                                      GeekyangG
                                      GeekyangG
                                      Geekyang
                                      已封禁
                                      发表于 最后由 编辑
                                      #22

                                      @lesslin-xiu 你这个上下文是多大的?我也想买一张。

                                      lesslin xiuL 1 条回复 最后回复
                                      0
                                      • williamlouisW williamlouis

                                        看视频或帖子了吗?双卡 sglang。

                                        GeekyangG
                                        GeekyangG
                                        Geekyang
                                        已封禁
                                        发表于 最后由 Geekyang 编辑
                                        #23

                                        @williamlouis
                                        你们都不看规格的吗?这么厚的卡?怎么玩两张,这怎么可能是个长期方案?
                                        fbb64d5b-8b43-4196-bf94-38aec0922a7a-image.jpeg

                                        1 条回复 最后回复
                                        0
                                        • GeekyangG Geekyang

                                          @lesslin-xiu 你这个上下文是多大的?我也想买一张。

                                          lesslin xiuL
                                          lesslin xiuL
                                          lesslin xiu
                                          发表于 最后由 编辑
                                          #24

                                          @Geekyang 说:

                                          这个上下文是多大的?我也想买一张

                                          128K

                                          Geekyang

                                          1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组