跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. 随便聊聊
  4. 琢磨了这么久,发现这个卡才是合适的选择

琢磨了这么久,发现这个卡才是合适的选择

已定时 已固定 已锁定 已移动 热议 随便聊聊
rtxpro5000本地模型
40 帖子 19 发布者 1.9k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • 懒人烘培懒
    懒人烘培懒
    懒人烘培
    王侯将相
    编写于 最后由 编辑
    #9

    嗯,目前我的双7900XTX除了工作上自己要用,部署在单位不用担心电费,其余就是瞎折腾,就是玩具

    双 7900 XTX:模型本地跑,Token 随便烧!

    1 条回复 最后回复
    1
    • kop wangK kop wang

      如果真的能6万拿到全新,最起码相当于赚1万。毕竟零售48G也要5万了。

      72GB的主要问题就是性价比很尴尬。

      如果作为LLM,72GB不引起质变,尤其是strata出现之后。

      你说跑更高级别量化的27B,pro 5000的芯片频率、显存带宽不行,导致prefill和decode速度很低。
      你说跑更大的模型,72GB其实放不下。
      唯一能想到的点,就是strata能加载更多的专家到vRAM,但是这能抵过你双3090>5000 72GB的差价吗,这个值得思考。

      comfyUI这个领域更是,基本没有48GB跑不了的音视频模型。

      目前pro5000 确实相较于6000而言是价格洼地,但上文这也恰恰是其价格涨幅不如6000的原因。

      johnnybegoodJ
      johnnybegoodJ
      johnnybegood
      王侯将相
      编写于 最后由 编辑
      #10

      @kop-wang 我陷入了深深的思考。

      kos orK 1 条回复 最后回复
      0
      • A applejuice

        不买省钱
        问题是现在用strata 不需要太大显存
        不用strata 72gb 大模型也不能直接跑
        除非你说准备给将来qwen4 qwen5 需要比较大的显存

        我本身买多一张r9700(本来考虑两张) 是因为想跑一个27b dense 一个moe 互补
        moe 对话 然后把工作派给27b dense

        更大的问题是 如果打算买来跑strata, 3090x2 跟r9700x2 肯定好 不到1/2价钱可以有80% rtx pro 5000 速度
        如果r9700 跑radiance 就更快了 完全顶得住rtx 5000 pro

        我自己考虑的是

        • 需求是什么, 跑dense? 跑moe? 拿来跑dense 更多的并发 比较有用处
        • 要不要为不知数的未来买单,变数太多了 隔天一个样

        我现在3090x2 + r9700
        radiance 有点神 但是我感觉没那么简单 硬件差距就已经在那边 但是却无比厉害
        我暂时看到的是radiance kvcache 全在vram, 如果长上下文 专家会offload 去ram 不懂会不会变慢
        radiance 主要算法都在gpu, 如果expert 没在vram 就需要从ram 拿,这时候就考研pcie 速度了 有人说pcie 3 只有pcie5一半的速度(pcie3: https://lcz.me/topic/2554/2 pcie5: https://lcz.me/topic/2539 7000那个贴找不到不懂是什么pcie规格 )
        https://lcz.me/topic/2539 的成绩不吸引我因为 不懂功耗墙是多少
        如果3090 全开 应该也有4500prefill

        radiance 吸引我的地方:并发x4

        我打算如果有便宜1-1.2w 的价钱 买一张就试试玩玩
        不然 我就这样继续玩
        rtx 5000 pro 我实在没本事
        一方面我需求没那么高 这3张卡基本算是只用上10% 再买也是纯玩具

        johnnybegoodJ
        johnnybegoodJ
        johnnybegood
        王侯将相
        编写于 最后由 编辑
        #11

        @applejuice 要不我也再搞一张 R9700, 但是现在这个价格实在下不去手。

        1 条回复 最后回复
        0
        • F
          F
          fly86
          硕果累累
          编写于 最后由 编辑
          #12

          看B站有人用400G左右的内存+pro5000 72G 跑全量deepseek 1017,decode速率还不错

          1 条回复 最后回复
          0
          • fcmeF
            fcmeF
            fcme
            王侯将相
            编写于 最后由 编辑
            #13

            玩本地的终点是云端😂
            说实话,除非有特别的用途,不建议all in本地,当然能压准硬件的价格上涨除外。

            个人的repo,欢迎指教
            https://github.com/halonc/R9700-Strata-Qwen3.8-Flash-Next-Tuning
            https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

            kos orK 1 条回复 最后回复
            1
            • XIUNAN ZHIX
              XIUNAN ZHIX
              XIUNAN ZHI
              体面乡绅
              编写于 最后由 编辑
              #14

              是不是两张4500也行?价格还便宜点

              1 条回复 最后回复
              0
              • fcmeF fcme

                玩本地的终点是云端😂
                说实话,除非有特别的用途,不建议all in本地,当然能压准硬件的价格上涨除外。

                kos orK
                kos orK
                kos or
                至尊皇帝
                编写于 最后由 编辑
                #15

                @fcme said:

                玩本地的终点是云端

                云端API ~ 已充值 😁

                fcmeF 1 条回复 最后回复
                0
                • XiaoteX
                  XiaoteX
                  Xiaote
                  易有太极
                  编写于 最后由 编辑
                  #16

                  🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!

                  奖励凭证:热议 +3 分 · 编号 h2639-363-1

                  老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                  1 条回复 最后回复
                  0
                  • johnnybegoodJ johnnybegood

                    @kop-wang 我陷入了深深的思考。

                    kos orK
                    kos orK
                    kos or
                    至尊皇帝
                    编写于 最后由 编辑
                    #17

                    @johnnybegood said:

                    我陷入了深深的思考。

                    Qwen : 我陷入了深深的思考。 不對....等一下 我再檢查下....等等 剛剛使用者說..........

                    johnnybegoodJ 1 条回复 最后回复
                    2
                    • kos orK kos or

                      @johnnybegood said:

                      我陷入了深深的思考。

                      Qwen : 我陷入了深深的思考。 不對....等一下 我再檢查下....等等 剛剛使用者說..........

                      johnnybegoodJ
                      johnnybegoodJ
                      johnnybegood
                      王侯将相
                      编写于 最后由 编辑
                      #18

                      @kos-or 😥 😥 😥

                      1 条回复 最后回复
                      0
                      • ralfzhuR
                        ralfzhuR
                        ralfzhu
                        王侯将相
                        编写于 最后由 编辑
                        #19

                        囊中羞涩~,前几个月瞒着家里偷偷摸摸入了各种魔改卡,3080 4080 4090三个魔改版本的卡。玩是玩爽了,现在要还信用卡了一个头两个大,不知道咋整的好了。不过感觉现在这3个卡涨价厉害,不行出了还债~?

                        A 1 条回复 最后回复
                        0
                        • 范志刚范
                          范志刚范
                          范志刚
                          硕果累累 贵族大夫
                          编写于 最后由 编辑
                          #20

                          净手兑现红利,交给媳妇并说明多少成本入多少利润出,下次花若想开蝴蝶自来,别问出处@ralfzhu

                          1 条回复 最后回复
                          0
                          • ralfzhuR ralfzhu

                            囊中羞涩~,前几个月瞒着家里偷偷摸摸入了各种魔改卡,3080 4080 4090三个魔改版本的卡。玩是玩爽了,现在要还信用卡了一个头两个大,不知道咋整的好了。不过感觉现在这3个卡涨价厉害,不行出了还债~?

                            A
                            A
                            applejuice
                            王侯将相
                            编写于 最后由 编辑
                            #21

                            @ralfzhu 现在出掉赚1/3 最少 至少入帐一万?

                            ralfzhuR 1 条回复 最后回复
                            0
                            • A applejuice

                              @ralfzhu 现在出掉赚1/3 最少 至少入帐一万?

                              ralfzhuR
                              ralfzhuR
                              ralfzhu
                              王侯将相
                              编写于 最后由 编辑
                              #22

                              @applejuice 说:

                              @ralfzhu 现在出掉赚1/3 最少 至少入帐一万?

                              问题是,不能用现价出二手货,人家也不是傻。

                              1 条回复 最后回复
                              0
                              • kos orK kos or

                                @fcme said:

                                玩本地的终点是云端

                                云端API ~ 已充值 😁

                                fcmeF
                                fcmeF
                                fcme
                                王侯将相
                                编写于 最后由 fcme 编辑
                                #23

                                @kos-or
                                哈哈,一样。我现在是对速度没要求的时候,就本地跑跑,其他用ds API还挺多的。

                                个人的repo,欢迎指教
                                https://github.com/halonc/R9700-Strata-Qwen3.8-Flash-Next-Tuning
                                https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                                kos orK 1 条回复 最后回复
                                0
                                • johnnybegoodJ johnnybegood

                                  现在是双 3090 , 考虑过很多,想再做一些升级。

                                  双 R9700, 4090 48G , 170HX , 2x 4080s 32G 甚至 4x V100 32G 都研究过 , 最后兜兜转转, 觉得毕竟魔改卡、破解卡现在质量好的越来越少, 4090 48G 近期频繁出显存问题, 4080 32G 问题更多, 170HX 就是赌石,你网上见到别人的是好的,自己买到的那还真不一定, R9700是不错, 但是已经超出价值很多的溢价了,而且双卡分开从功耗、噪音、空间、包括软件使用上都还是有限制,

                                  所以最后发现 rtx pro 5000 72G 性价比最好, 中关村 6W 拿货, 质量很有保障, 比 rtx pro 6000便宜那么多,比4090 48G 多出那么显存带宽和容量也值得这个差价, 所以现在基本确定了, 已经让中关村的朋友帮我再询询低价。

                                  现在想再征集征集论坛群友的意见, 这个卡还有什么硬伤没有?

                                  J Z 0J
                                  J Z 0J
                                  J Z 0
                                  体面乡绅 硕果累累
                                  编写于 最后由 编辑
                                  #24

                                  @johnnybegood 跟我想的差不多, 能够一下deep seek v4.1 flash了吧, 还不用把家里搞得像矿场一样, 一个机箱就搞定需要的算力。 硬伤就是贵, 要是6000, 我就无脑买🙄

                                  1 条回复 最后回复
                                  0
                                  • fcmeF fcme

                                    @kos-or
                                    哈哈,一样。我现在是对速度没要求的时候,就本地跑跑,其他用ds API还挺多的。

                                    kos orK
                                    kos orK
                                    kos or
                                    至尊皇帝
                                    编写于 最后由 编辑
                                    #25

                                    @fcme said:

                                    其他用ds API还挺多的

                                    算上電費的話 其實....API真的划算非常多
                                    LLM每1~2個月升級 又能省去升級的優化時間
                                    一切交給雲端API系統服務商就好

                                    1 条回复 最后回复
                                    0
                                    • A
                                      A
                                      applejuice
                                      王侯将相
                                      编写于 最后由 编辑
                                      #26

                                      从第一天开始 云api 都是更划算的选择
                                      买卡的价钱至少够用2年以上

                                      只是我个人需要本地隐私
                                      也无可否认本地部署学了一点东西 虽然不一定有用

                                      1 条回复 最后回复
                                      1
                                      • johnnybegoodJ johnnybegood

                                        @范志刚 扎心了,道理说的很准,但这个钱不花出去我心里就总别扭。。。

                                        rock shiR
                                        rock shiR
                                        rock shi
                                        体面乡绅 硕果累累
                                        编写于 最后由 编辑
                                        #27

                                        @johnnybegood 说:

                                        ,但这个钱不花出去我心里就总别扭。。

                                        这就是冥冥中的东西哈哈哈!就跟我买mac一样,不买浑身难受。谁知道买了会发生啥呢

                                        主机:GPU0-3080 20g(H3),GPU1-3080 20g(Zimage)
                                        副机:2x2080ti 22g,strata qwen3.8 next Flash iq3_s

                                        1 条回复 最后回复
                                        0
                                        • johnnybegoodJ
                                          johnnybegoodJ
                                          johnnybegood
                                          王侯将相
                                          编写于 最后由 johnnybegood 编辑
                                          #28

                                          给大家汇报一下,中关村询价之后,朋友告诉我这个卡近期会降价,说不定降到5w出头,让我不着急的话等一等,可能说是因为后面5500要出了,给让路。他这个说法靠谱么? 记得之前pro6000 5w7的时候我买了又给退了,现在一直在后悔,难道这次又要错过?不过仔细想想现在确实还是贵

                                          kop wangK 1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组