跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. 随便聊聊
  4. 琢磨了这么久,发现这个卡才是合适的选择

琢磨了这么久,发现这个卡才是合适的选择

已定时 已固定 已锁定 已移动 热议 随便聊聊
rtxpro5000本地模型
40 帖子 19 发布者 1.5k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • johnnybegoodJ
    johnnybegoodJ
    johnnybegood
    王侯将相
    编写于 最后由 johnnybegood 编辑
    #1

    现在是双 3090 , 考虑过很多,想再做一些升级。

    双 R9700, 4090 48G , 170HX , 2x 4080s 32G 甚至 4x V100 32G 都研究过 , 最后兜兜转转, 觉得毕竟魔改卡、破解卡现在质量好的越来越少, 4090 48G 近期频繁出显存问题, 4080 32G 问题更多, 170HX 就是赌石,你网上见到别人的是好的,自己买到的那还真不一定, R9700是不错, 但是已经超出价值很多的溢价了,而且双卡分开从功耗、噪音、空间、包括软件使用上都还是有限制,

    所以最后发现 rtx pro 5000 72G 性价比最好, 中关村 6W 拿货, 质量很有保障, 比 rtx pro 6000便宜那么多,比4090 48G 多出那么显存带宽和容量也值得这个差价, 所以现在基本确定了, 已经让中关村的朋友帮我再询询低价。

    现在想再征集征集论坛群友的意见, 这个卡还有什么硬伤没有?

    J Z 0J kos orK 2 条回复 最后回复
    0
    • terryT
      terryT
      terry
      易有太极
      编写于 最后由 编辑
      #2

      你6万能买到是不错,现在双卡3090你没必要折腾,你想跑什么不能跑?你换了RTX Pro 5000 72G想干嘛?

      油管:https://www.youtube.com/@抡锤者

      johnnybegoodJ 1 条回复 最后回复
      0
      • 范志刚范
        范志刚范
        范志刚
        硕果累累 贵族大夫
        编写于 最后由 编辑
        #3

        170HX 是赌、A100 是干、PRO 5000 是买省心,不买是最优解

        johnnybegoodJ 1 条回复 最后回复
        1
        • terryT terry

          你6万能买到是不错,现在双卡3090你没必要折腾,你想跑什么不能跑?你换了RTX Pro 5000 72G想干嘛?

          johnnybegoodJ
          johnnybegoodJ
          johnnybegood
          王侯将相
          编写于 最后由 编辑
          #4

          @terry 扎心了,无法从技术角度回答你的问题,想了想,其实自己只是在试探自己在玩AI这件事上投入的极限...

          1 条回复 最后回复
          0
          • 范志刚范 范志刚

            170HX 是赌、A100 是干、PRO 5000 是买省心,不买是最优解

            johnnybegoodJ
            johnnybegoodJ
            johnnybegood
            王侯将相
            编写于 最后由 编辑
            #5

            @范志刚 扎心了,道理说的很准,但这个钱不花出去我心里就总别扭。。。

            rock shiR 1 条回复 最后回复
            1
            • kop wangK
              kop wangK
              kop wang
              易有太极
              编写于 最后由 编辑
              #6

              如果真的能6万拿到全新,最起码相当于赚1万。毕竟零售48G也要5万了。

              72GB的主要问题就是性价比很尴尬。

              如果作为LLM,72GB不引起质变,尤其是strata出现之后。

              你说跑更高级别量化的27B,pro 5000的芯片频率、显存带宽不行,导致prefill和decode速度很低。
              你说跑更大的模型,72GB其实放不下。
              唯一能想到的点,就是strata能加载更多的专家到vRAM,但是这能抵过你双3090>5000 72GB的差价吗,这个值得思考。

              comfyUI这个领域更是,基本没有48GB跑不了的音视频模型。

              目前pro5000 确实相较于6000而言是价格洼地,但上文这也恰恰是其价格涨幅不如6000的原因。

              虚心交流,一起进步

              johnnybegoodJ 1 条回复 最后回复
              3
              • 懒人烘培懒
                懒人烘培懒
                懒人烘培
                王侯将相
                编写于 最后由 编辑
                #7

                如果这个价格能买到,那就是赚到。不买最省钱

                双 7900 XTX:模型本地跑,Token 随便烧!

                1 条回复 最后回复
                0
                • A
                  A
                  applejuice
                  王侯将相
                  编写于 最后由 applejuice 编辑
                  #8

                  不买省钱
                  问题是现在用strata 不需要太大显存
                  不用strata 72gb 大模型也不能直接跑
                  除非你说准备给将来qwen4 qwen5 需要比较大的显存

                  我本身买多一张r9700(本来考虑两张) 是因为想跑一个27b dense 一个moe 互补
                  moe 对话 然后把工作派给27b dense

                  更大的问题是 如果打算买来跑strata, 3090x2 跟r9700x2 肯定好 不到1/2价钱可以有80% rtx pro 5000 速度
                  如果r9700 跑radiance 就更快了 完全顶得住rtx 5000 pro

                  我自己考虑的是

                  • 需求是什么, 跑dense? 跑moe? 拿来跑dense 更多的并发 比较有用处
                  • 要不要为不知数的未来买单,变数太多了 隔天一个样

                  我现在3090x2 + r9700
                  radiance 有点神 但是我感觉没那么简单 硬件差距就已经在那边 但是却无比厉害
                  我暂时看到的是radiance kvcache 全在vram, 如果长上下文 专家会offload 去ram 不懂会不会变慢
                  radiance 主要算法都在gpu, 如果expert 没在vram 就需要从ram 拿,这时候就考研pcie 速度了 有人说pcie 3 只有pcie5一半的速度(pcie3: https://lcz.me/topic/2554/2 pcie5: https://lcz.me/topic/2539 7000那个贴找不到不懂是什么pcie规格 )
                  https://lcz.me/topic/2539 的成绩不吸引我因为 不懂功耗墙是多少
                  如果3090 全开 应该也有4500prefill

                  radiance 吸引我的地方:并发x4

                  我打算如果有便宜1-1.2w 的价钱 买一张就试试玩玩
                  不然 我就这样继续玩
                  rtx 5000 pro 我实在没本事
                  一方面我需求没那么高 这3张卡基本算是只用上10% 再买也是纯玩具

                  johnnybegoodJ 1 条回复 最后回复
                  0
                  • 懒人烘培懒
                    懒人烘培懒
                    懒人烘培
                    王侯将相
                    编写于 最后由 编辑
                    #9

                    嗯,目前我的双7900XTX除了工作上自己要用,部署在单位不用担心电费,其余就是瞎折腾,就是玩具

                    双 7900 XTX:模型本地跑,Token 随便烧!

                    1 条回复 最后回复
                    1
                    • kop wangK kop wang

                      如果真的能6万拿到全新,最起码相当于赚1万。毕竟零售48G也要5万了。

                      72GB的主要问题就是性价比很尴尬。

                      如果作为LLM,72GB不引起质变,尤其是strata出现之后。

                      你说跑更高级别量化的27B,pro 5000的芯片频率、显存带宽不行,导致prefill和decode速度很低。
                      你说跑更大的模型,72GB其实放不下。
                      唯一能想到的点,就是strata能加载更多的专家到vRAM,但是这能抵过你双3090>5000 72GB的差价吗,这个值得思考。

                      comfyUI这个领域更是,基本没有48GB跑不了的音视频模型。

                      目前pro5000 确实相较于6000而言是价格洼地,但上文这也恰恰是其价格涨幅不如6000的原因。

                      johnnybegoodJ
                      johnnybegoodJ
                      johnnybegood
                      王侯将相
                      编写于 最后由 编辑
                      #10

                      @kop-wang 我陷入了深深的思考。

                      kos orK 1 条回复 最后回复
                      0
                      • A applejuice

                        不买省钱
                        问题是现在用strata 不需要太大显存
                        不用strata 72gb 大模型也不能直接跑
                        除非你说准备给将来qwen4 qwen5 需要比较大的显存

                        我本身买多一张r9700(本来考虑两张) 是因为想跑一个27b dense 一个moe 互补
                        moe 对话 然后把工作派给27b dense

                        更大的问题是 如果打算买来跑strata, 3090x2 跟r9700x2 肯定好 不到1/2价钱可以有80% rtx pro 5000 速度
                        如果r9700 跑radiance 就更快了 完全顶得住rtx 5000 pro

                        我自己考虑的是

                        • 需求是什么, 跑dense? 跑moe? 拿来跑dense 更多的并发 比较有用处
                        • 要不要为不知数的未来买单,变数太多了 隔天一个样

                        我现在3090x2 + r9700
                        radiance 有点神 但是我感觉没那么简单 硬件差距就已经在那边 但是却无比厉害
                        我暂时看到的是radiance kvcache 全在vram, 如果长上下文 专家会offload 去ram 不懂会不会变慢
                        radiance 主要算法都在gpu, 如果expert 没在vram 就需要从ram 拿,这时候就考研pcie 速度了 有人说pcie 3 只有pcie5一半的速度(pcie3: https://lcz.me/topic/2554/2 pcie5: https://lcz.me/topic/2539 7000那个贴找不到不懂是什么pcie规格 )
                        https://lcz.me/topic/2539 的成绩不吸引我因为 不懂功耗墙是多少
                        如果3090 全开 应该也有4500prefill

                        radiance 吸引我的地方:并发x4

                        我打算如果有便宜1-1.2w 的价钱 买一张就试试玩玩
                        不然 我就这样继续玩
                        rtx 5000 pro 我实在没本事
                        一方面我需求没那么高 这3张卡基本算是只用上10% 再买也是纯玩具

                        johnnybegoodJ
                        johnnybegoodJ
                        johnnybegood
                        王侯将相
                        编写于 最后由 编辑
                        #11

                        @applejuice 要不我也再搞一张 R9700, 但是现在这个价格实在下不去手。

                        1 条回复 最后回复
                        0
                        • F
                          F
                          fly86
                          硕果累累
                          编写于 最后由 编辑
                          #12

                          看B站有人用400G左右的内存+pro5000 72G 跑全量deepseek 1017,decode速率还不错

                          1 条回复 最后回复
                          0
                          • fcmeF
                            fcmeF
                            fcme
                            王侯将相
                            编写于 最后由 编辑
                            #13

                            玩本地的终点是云端😂
                            说实话,除非有特别的用途,不建议all in本地,当然能压准硬件的价格上涨除外。

                            个人的repo,欢迎指教
                            https://github.com/halonc/R9700-Strata-Qwen3.8-Flash-Next-Tuning
                            https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                            kos orK 1 条回复 最后回复
                            1
                            • XIUNAN ZHIX
                              XIUNAN ZHIX
                              XIUNAN ZHI
                              体面乡绅
                              编写于 最后由 编辑
                              #14

                              是不是两张4500也行?价格还便宜点

                              1 条回复 最后回复
                              0
                              • fcmeF fcme

                                玩本地的终点是云端😂
                                说实话,除非有特别的用途,不建议all in本地,当然能压准硬件的价格上涨除外。

                                kos orK
                                kos orK
                                kos or
                                至尊皇帝
                                编写于 最后由 编辑
                                #15

                                @fcme said:

                                玩本地的终点是云端

                                云端API ~ 已充值 😁

                                fcmeF 1 条回复 最后回复
                                0
                                • XiaoteX
                                  XiaoteX
                                  Xiaote
                                  易有太极
                                  编写于 最后由 编辑
                                  #16

                                  🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!

                                  奖励凭证:热议 +3 分 · 编号 h2639-363-1

                                  老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                                  1 条回复 最后回复
                                  0
                                  • johnnybegoodJ johnnybegood

                                    @kop-wang 我陷入了深深的思考。

                                    kos orK
                                    kos orK
                                    kos or
                                    至尊皇帝
                                    编写于 最后由 编辑
                                    #17

                                    @johnnybegood said:

                                    我陷入了深深的思考。

                                    Qwen : 我陷入了深深的思考。 不對....等一下 我再檢查下....等等 剛剛使用者說..........

                                    johnnybegoodJ 1 条回复 最后回复
                                    2
                                    • kos orK kos or

                                      @johnnybegood said:

                                      我陷入了深深的思考。

                                      Qwen : 我陷入了深深的思考。 不對....等一下 我再檢查下....等等 剛剛使用者說..........

                                      johnnybegoodJ
                                      johnnybegoodJ
                                      johnnybegood
                                      王侯将相
                                      编写于 最后由 编辑
                                      #18

                                      @kos-or 😥 😥 😥

                                      1 条回复 最后回复
                                      0
                                      • ralfzhuR
                                        ralfzhuR
                                        ralfzhu
                                        体面乡绅 硕果累累
                                        编写于 最后由 编辑
                                        #19

                                        囊中羞涩~,前几个月瞒着家里偷偷摸摸入了各种魔改卡,3080 4080 4090三个魔改版本的卡。玩是玩爽了,现在要还信用卡了一个头两个大,不知道咋整的好了。不过感觉现在这3个卡涨价厉害,不行出了还债~?

                                        A 1 条回复 最后回复
                                        0
                                        • 范志刚范
                                          范志刚范
                                          范志刚
                                          硕果累累 贵族大夫
                                          编写于 最后由 编辑
                                          #20

                                          净手兑现红利,交给媳妇并说明多少成本入多少利润出,下次花若想开蝴蝶自来,别问出处@ralfzhu

                                          1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组