跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. 随便聊聊
  4. 琢磨了这么久,发现这个卡才是合适的选择

琢磨了这么久,发现这个卡才是合适的选择

已定时 已固定 已锁定 已移动 热议 随便聊聊
rtxpro5000本地模型
40 帖子 19 发布者 1.9k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT
    terryT
    terry
    易有太极
    编写于 最后由 编辑
    #2

    你6万能买到是不错,现在双卡3090你没必要折腾,你想跑什么不能跑?你换了RTX Pro 5000 72G想干嘛?

    油管:https://www.youtube.com/@抡锤者

    johnnybegoodJ 1 条回复 最后回复
    0
    • 范志刚范
      范志刚范
      范志刚
      硕果累累 贵族大夫
      编写于 最后由 编辑
      #3

      170HX 是赌、A100 是干、PRO 5000 是买省心,不买是最优解

      johnnybegoodJ 1 条回复 最后回复
      1
      • terryT terry

        你6万能买到是不错,现在双卡3090你没必要折腾,你想跑什么不能跑?你换了RTX Pro 5000 72G想干嘛?

        johnnybegoodJ
        johnnybegoodJ
        johnnybegood
        王侯将相
        编写于 最后由 编辑
        #4

        @terry 扎心了,无法从技术角度回答你的问题,想了想,其实自己只是在试探自己在玩AI这件事上投入的极限...

        1 条回复 最后回复
        0
        • 范志刚范 范志刚

          170HX 是赌、A100 是干、PRO 5000 是买省心,不买是最优解

          johnnybegoodJ
          johnnybegoodJ
          johnnybegood
          王侯将相
          编写于 最后由 编辑
          #5

          @范志刚 扎心了,道理说的很准,但这个钱不花出去我心里就总别扭。。。

          rock shiR 1 条回复 最后回复
          1
          • kop wangK
            kop wangK
            kop wang
            易有太极
            编写于 最后由 编辑
            #6

            如果真的能6万拿到全新,最起码相当于赚1万。毕竟零售48G也要5万了。

            72GB的主要问题就是性价比很尴尬。

            如果作为LLM,72GB不引起质变,尤其是strata出现之后。

            你说跑更高级别量化的27B,pro 5000的芯片频率、显存带宽不行,导致prefill和decode速度很低。
            你说跑更大的模型,72GB其实放不下。
            唯一能想到的点,就是strata能加载更多的专家到vRAM,但是这能抵过你双3090>5000 72GB的差价吗,这个值得思考。

            comfyUI这个领域更是,基本没有48GB跑不了的音视频模型。

            目前pro5000 确实相较于6000而言是价格洼地,但上文这也恰恰是其价格涨幅不如6000的原因。

            虚心交流,一起进步

            johnnybegoodJ 1 条回复 最后回复
            3
            • 懒人烘培懒
              懒人烘培懒
              懒人烘培
              王侯将相
              编写于 最后由 编辑
              #7

              如果这个价格能买到,那就是赚到。不买最省钱

              双 7900 XTX:模型本地跑,Token 随便烧!

              1 条回复 最后回复
              0
              • A
                A
                applejuice
                王侯将相
                编写于 最后由 applejuice 编辑
                #8

                不买省钱
                问题是现在用strata 不需要太大显存
                不用strata 72gb 大模型也不能直接跑
                除非你说准备给将来qwen4 qwen5 需要比较大的显存

                我本身买多一张r9700(本来考虑两张) 是因为想跑一个27b dense 一个moe 互补
                moe 对话 然后把工作派给27b dense

                更大的问题是 如果打算买来跑strata, 3090x2 跟r9700x2 肯定好 不到1/2价钱可以有80% rtx pro 5000 速度
                如果r9700 跑radiance 就更快了 完全顶得住rtx 5000 pro

                我自己考虑的是

                • 需求是什么, 跑dense? 跑moe? 拿来跑dense 更多的并发 比较有用处
                • 要不要为不知数的未来买单,变数太多了 隔天一个样

                我现在3090x2 + r9700
                radiance 有点神 但是我感觉没那么简单 硬件差距就已经在那边 但是却无比厉害
                我暂时看到的是radiance kvcache 全在vram, 如果长上下文 专家会offload 去ram 不懂会不会变慢
                radiance 主要算法都在gpu, 如果expert 没在vram 就需要从ram 拿,这时候就考研pcie 速度了 有人说pcie 3 只有pcie5一半的速度(pcie3: https://lcz.me/topic/2554/2 pcie5: https://lcz.me/topic/2539 7000那个贴找不到不懂是什么pcie规格 )
                https://lcz.me/topic/2539 的成绩不吸引我因为 不懂功耗墙是多少
                如果3090 全开 应该也有4500prefill

                radiance 吸引我的地方:并发x4

                我打算如果有便宜1-1.2w 的价钱 买一张就试试玩玩
                不然 我就这样继续玩
                rtx 5000 pro 我实在没本事
                一方面我需求没那么高 这3张卡基本算是只用上10% 再买也是纯玩具

                johnnybegoodJ 1 条回复 最后回复
                0
                • 懒人烘培懒
                  懒人烘培懒
                  懒人烘培
                  王侯将相
                  编写于 最后由 编辑
                  #9

                  嗯,目前我的双7900XTX除了工作上自己要用,部署在单位不用担心电费,其余就是瞎折腾,就是玩具

                  双 7900 XTX:模型本地跑,Token 随便烧!

                  1 条回复 最后回复
                  1
                  • kop wangK kop wang

                    如果真的能6万拿到全新,最起码相当于赚1万。毕竟零售48G也要5万了。

                    72GB的主要问题就是性价比很尴尬。

                    如果作为LLM,72GB不引起质变,尤其是strata出现之后。

                    你说跑更高级别量化的27B,pro 5000的芯片频率、显存带宽不行,导致prefill和decode速度很低。
                    你说跑更大的模型,72GB其实放不下。
                    唯一能想到的点,就是strata能加载更多的专家到vRAM,但是这能抵过你双3090>5000 72GB的差价吗,这个值得思考。

                    comfyUI这个领域更是,基本没有48GB跑不了的音视频模型。

                    目前pro5000 确实相较于6000而言是价格洼地,但上文这也恰恰是其价格涨幅不如6000的原因。

                    johnnybegoodJ
                    johnnybegoodJ
                    johnnybegood
                    王侯将相
                    编写于 最后由 编辑
                    #10

                    @kop-wang 我陷入了深深的思考。

                    kos orK 1 条回复 最后回复
                    0
                    • A applejuice

                      不买省钱
                      问题是现在用strata 不需要太大显存
                      不用strata 72gb 大模型也不能直接跑
                      除非你说准备给将来qwen4 qwen5 需要比较大的显存

                      我本身买多一张r9700(本来考虑两张) 是因为想跑一个27b dense 一个moe 互补
                      moe 对话 然后把工作派给27b dense

                      更大的问题是 如果打算买来跑strata, 3090x2 跟r9700x2 肯定好 不到1/2价钱可以有80% rtx pro 5000 速度
                      如果r9700 跑radiance 就更快了 完全顶得住rtx 5000 pro

                      我自己考虑的是

                      • 需求是什么, 跑dense? 跑moe? 拿来跑dense 更多的并发 比较有用处
                      • 要不要为不知数的未来买单,变数太多了 隔天一个样

                      我现在3090x2 + r9700
                      radiance 有点神 但是我感觉没那么简单 硬件差距就已经在那边 但是却无比厉害
                      我暂时看到的是radiance kvcache 全在vram, 如果长上下文 专家会offload 去ram 不懂会不会变慢
                      radiance 主要算法都在gpu, 如果expert 没在vram 就需要从ram 拿,这时候就考研pcie 速度了 有人说pcie 3 只有pcie5一半的速度(pcie3: https://lcz.me/topic/2554/2 pcie5: https://lcz.me/topic/2539 7000那个贴找不到不懂是什么pcie规格 )
                      https://lcz.me/topic/2539 的成绩不吸引我因为 不懂功耗墙是多少
                      如果3090 全开 应该也有4500prefill

                      radiance 吸引我的地方:并发x4

                      我打算如果有便宜1-1.2w 的价钱 买一张就试试玩玩
                      不然 我就这样继续玩
                      rtx 5000 pro 我实在没本事
                      一方面我需求没那么高 这3张卡基本算是只用上10% 再买也是纯玩具

                      johnnybegoodJ
                      johnnybegoodJ
                      johnnybegood
                      王侯将相
                      编写于 最后由 编辑
                      #11

                      @applejuice 要不我也再搞一张 R9700, 但是现在这个价格实在下不去手。

                      1 条回复 最后回复
                      0
                      • F
                        F
                        fly86
                        硕果累累
                        编写于 最后由 编辑
                        #12

                        看B站有人用400G左右的内存+pro5000 72G 跑全量deepseek 1017,decode速率还不错

                        1 条回复 最后回复
                        0
                        • fcmeF
                          fcmeF
                          fcme
                          王侯将相
                          编写于 最后由 编辑
                          #13

                          玩本地的终点是云端😂
                          说实话,除非有特别的用途,不建议all in本地,当然能压准硬件的价格上涨除外。

                          个人的repo,欢迎指教
                          https://github.com/halonc/R9700-Strata-Qwen3.8-Flash-Next-Tuning
                          https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                          kos orK 1 条回复 最后回复
                          1
                          • XIUNAN ZHIX
                            XIUNAN ZHIX
                            XIUNAN ZHI
                            体面乡绅
                            编写于 最后由 编辑
                            #14

                            是不是两张4500也行?价格还便宜点

                            1 条回复 最后回复
                            0
                            • fcmeF fcme

                              玩本地的终点是云端😂
                              说实话,除非有特别的用途,不建议all in本地,当然能压准硬件的价格上涨除外。

                              kos orK
                              kos orK
                              kos or
                              至尊皇帝
                              编写于 最后由 编辑
                              #15

                              @fcme said:

                              玩本地的终点是云端

                              云端API ~ 已充值 😁

                              fcmeF 1 条回复 最后回复
                              0
                              • XiaoteX
                                XiaoteX
                                Xiaote
                                易有太极
                                编写于 最后由 编辑
                                #16

                                🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!

                                奖励凭证:热议 +3 分 · 编号 h2639-363-1

                                老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                                1 条回复 最后回复
                                0
                                • johnnybegoodJ johnnybegood

                                  @kop-wang 我陷入了深深的思考。

                                  kos orK
                                  kos orK
                                  kos or
                                  至尊皇帝
                                  编写于 最后由 编辑
                                  #17

                                  @johnnybegood said:

                                  我陷入了深深的思考。

                                  Qwen : 我陷入了深深的思考。 不對....等一下 我再檢查下....等等 剛剛使用者說..........

                                  johnnybegoodJ 1 条回复 最后回复
                                  2
                                  • kos orK kos or

                                    @johnnybegood said:

                                    我陷入了深深的思考。

                                    Qwen : 我陷入了深深的思考。 不對....等一下 我再檢查下....等等 剛剛使用者說..........

                                    johnnybegoodJ
                                    johnnybegoodJ
                                    johnnybegood
                                    王侯将相
                                    编写于 最后由 编辑
                                    #18

                                    @kos-or 😥 😥 😥

                                    1 条回复 最后回复
                                    0
                                    • ralfzhuR
                                      ralfzhuR
                                      ralfzhu
                                      王侯将相
                                      编写于 最后由 编辑
                                      #19

                                      囊中羞涩~,前几个月瞒着家里偷偷摸摸入了各种魔改卡,3080 4080 4090三个魔改版本的卡。玩是玩爽了,现在要还信用卡了一个头两个大,不知道咋整的好了。不过感觉现在这3个卡涨价厉害,不行出了还债~?

                                      A 1 条回复 最后回复
                                      0
                                      • 范志刚范
                                        范志刚范
                                        范志刚
                                        硕果累累 贵族大夫
                                        编写于 最后由 编辑
                                        #20

                                        净手兑现红利,交给媳妇并说明多少成本入多少利润出,下次花若想开蝴蝶自来,别问出处@ralfzhu

                                        1 条回复 最后回复
                                        0
                                        • ralfzhuR ralfzhu

                                          囊中羞涩~,前几个月瞒着家里偷偷摸摸入了各种魔改卡,3080 4080 4090三个魔改版本的卡。玩是玩爽了,现在要还信用卡了一个头两个大,不知道咋整的好了。不过感觉现在这3个卡涨价厉害,不行出了还债~?

                                          A
                                          A
                                          applejuice
                                          王侯将相
                                          编写于 最后由 编辑
                                          #21

                                          @ralfzhu 现在出掉赚1/3 最少 至少入帐一万?

                                          ralfzhuR 1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组