跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. 4060Ti 8G显存还能部署本地大模型吗?玩玩Hermes

4060Ti 8G显存还能部署本地大模型吗?玩玩Hermes

已定时 已固定 已锁定 已移动 AI硬件
27 帖子 9 发布者 237 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • T 离线
    T 离线
    Tiger
    编写于 最后由 编辑
    #1

    主要想用Hermes来为电商生图、日常上下货运营、客服回复,目前想在联想的GeekPro游戏台式主机上养马,配置:14代i5-14400F,RTX4060Ti 8GB显存,DDR5 32GB内存,1T SSD固态硬盘。求问,还能部署个本地大模型吗?还是说直接全部接Deepseek v4 flash的API?

    1 条回复 最后回复
    0
    • terryT 离线
      terryT 离线
      terry
      编写于 最后由 编辑
      #2

      这配置部署个锤子,在线吧

      williamlouisW 1 条回复 最后回复
      0
      • terryT terry

        这配置部署个锤子,在线吧

        williamlouisW 离线
        williamlouisW 离线
        williamlouis
        编写于 最后由 编辑
        #3

        @terry 注意他的词汇。是可以部署的锤子。玩玩呗。就是ai 的智力能让他流泪。RTX4060Ti 8GB这卡不行。

        个人主页:xlkj.org Telegram https://t.me/xinlinlu

        1 条回复 最后回复
        0
        • williamlouisW 离线
          williamlouisW 离线
          williamlouis
          编写于 最后由 编辑
          #4

          推荐 小霸王学习机 7900xtx 24G

          个人主页:xlkj.org Telegram https://t.me/xinlinlu

          1 条回复 最后回复
          0
          • williamlouisW 离线
            williamlouisW 离线
            williamlouis
            编写于 最后由 编辑
            #5

            涨价了 5989了。昨天还是5969

            个人主页:xlkj.org Telegram https://t.me/xinlinlu

            1 条回复 最后回复
            0
            • williamlouisW 离线
              williamlouisW 离线
              williamlouis
              编写于 最后由 编辑
              #6

              全部接Deepseek v4 flash的API? 可以用到这个月月底。下个月 API会涨价。后续无力。还是研究显卡坞吧。

              个人主页:xlkj.org Telegram https://t.me/xinlinlu

              T 1 条回复 最后回复
              0
              • T 离线
                T 离线
                Tiger
                编写于 最后由 编辑
                #7

                哈哈哈,说得对,得,在线吧!后续如果想要本地部署Qwen3.6 27B稠密模型,到时候再看看4090。

                williamlouisW 1 条回复 最后回复
                0
                • T Tiger

                  哈哈哈,说得对,得,在线吧!后续如果想要本地部署Qwen3.6 27B稠密模型,到时候再看看4090。

                  williamlouisW 离线
                  williamlouisW 离线
                  williamlouis
                  编写于 最后由 编辑
                  #8

                  @Tiger 你这需求上4090浪费钱财。除非你还有别的项目

                  个人主页:xlkj.org Telegram https://t.me/xinlinlu

                  T 2 条回复 最后回复
                  0
                  • williamlouisW williamlouis

                    全部接Deepseek v4 flash的API? 可以用到这个月月底。下个月 API会涨价。后续无力。还是研究显卡坞吧。

                    T 离线
                    T 离线
                    Tiger
                    编写于 最后由 编辑
                    #9

                    @williamlouis 卧槽,我说用了5天,1.45亿Tokens,怎么才30块钱,再看吧,看每个月消耗和能起到的作用值不值再说。

                    williamlouisW 2 条回复 最后回复
                    0
                    • T Tiger

                      @williamlouis 卧槽,我说用了5天,1.45亿Tokens,怎么才30块钱,再看吧,看每个月消耗和能起到的作用值不值再说。

                      williamlouisW 离线
                      williamlouisW 离线
                      williamlouis
                      编写于 最后由 编辑
                      #10

                      @Tiger 我做过测试。如果用在线的api 做一个作品。在同一个平台。你再起一个账号。只要提示词给力。你的作品就会被别人免费带走。你也可以试试。亲身经历。
                      所以我才来老特这混混。
                      本地算力对我们也一样重要。

                      个人主页:xlkj.org Telegram https://t.me/xinlinlu

                      B 1 条回复 最后回复
                      0
                      • T Tiger

                        @williamlouis 卧槽,我说用了5天,1.45亿Tokens,怎么才30块钱,再看吧,看每个月消耗和能起到的作用值不值再说。

                        williamlouisW 离线
                        williamlouisW 离线
                        williamlouis
                        编写于 最后由 编辑
                        #11

                        @Tiger 在线算力的运用。我们一样被蒸馏。这就是现实。

                        个人主页:xlkj.org Telegram https://t.me/xinlinlu

                        1 条回复 最后回复
                        0
                        • williamlouisW williamlouis

                          @Tiger 你这需求上4090浪费钱财。除非你还有别的项目

                          T 离线
                          T 离线
                          Tiger
                          编写于 最后由 编辑
                          #12

                          @williamlouis 如果再加一个产品使用的短视频呢,20s,480P或者720P这种,还值得搞4090吗?如果不值得,降一点性能有啥推荐,大佬?

                          1 条回复 最后回复
                          0
                          • williamlouisW 离线
                            williamlouisW 离线
                            williamlouis
                            编写于 最后由 编辑
                            #13

                            用什么你最好自己一次性计划好。至少想2年这个周期。买了部署上,在训练。都是时间。越贵越好这个理论适用于AI这个项目。你的需求 电商生图、日常上下货运营、客服回复。需要训练。你又给自己加项 要搞视频。生产多少。什么量。
                            我推荐你就是考虑 N卡。用来生产力可以直接 pass amd 了。剩下的就是你考虑下 未来的规划。这玩意太折腾。

                            个人主页:xlkj.org Telegram https://t.me/xinlinlu

                            T 1 条回复 最后回复
                            0
                            • williamlouisW williamlouis

                              用什么你最好自己一次性计划好。至少想2年这个周期。买了部署上,在训练。都是时间。越贵越好这个理论适用于AI这个项目。你的需求 电商生图、日常上下货运营、客服回复。需要训练。你又给自己加项 要搞视频。生产多少。什么量。
                              我推荐你就是考虑 N卡。用来生产力可以直接 pass amd 了。剩下的就是你考虑下 未来的规划。这玩意太折腾。

                              T 离线
                              T 离线
                              Tiger
                              编写于 最后由 编辑
                              #14

                              @williamlouis 多谢多谢,我好好想想,其实短视频的需求来自于电商,套图之外最好有人使用产品的短视频,20-30s这种。我再观察观察,感谢!

                              1 条回复 最后回复
                              0
                              • williamlouisW 离线
                                williamlouisW 离线
                                williamlouis
                                编写于 最后由 编辑
                                #15

                                嗯。不要轻易下结论。硬件入手就是二手。

                                个人主页:xlkj.org Telegram https://t.me/xinlinlu

                                1 条回复 最后回复
                                0
                                • williamlouisW williamlouis

                                  @Tiger 你这需求上4090浪费钱财。除非你还有别的项目

                                  T 离线
                                  T 离线
                                  Tiger
                                  编写于 最后由 编辑
                                  #16

                                  @williamlouis 有没有可能,买个RTX3090 32GB显存的二手显卡,升级我现有的联想GeekPro台式机的破显卡?然后用它来跑ComfyUI、AnimateDiff生成图片、视频?这样估计也就3500-4000块差不多。

                                  1 条回复 最后回复
                                  0
                                  • williamlouisW 离线
                                    williamlouisW 离线
                                    williamlouis
                                    编写于 最后由 编辑
                                    #17

                                    你有盈利项目就不要搞矿渣了。就你的实力。如果显卡报废。无损恢复的几率不大。老弟。还涉及到你营业受损。

                                    个人主页:xlkj.org Telegram https://t.me/xinlinlu

                                    T 1 条回复 最后回复
                                    0
                                    • williamlouisW williamlouis

                                      你有盈利项目就不要搞矿渣了。就你的实力。如果显卡报废。无损恢复的几率不大。老弟。还涉及到你营业受损。

                                      T 离线
                                      T 离线
                                      Tiger
                                      编写于 最后由 编辑
                                      #18

                                      @williamlouis 有道理!感谢!

                                      1 条回复 最后回复
                                      0
                                      • testyaoT 离线
                                        testyaoT 离线
                                        testyao
                                        编写于 最后由 编辑
                                        #19

                                        @Tiger 只能玩qwen3 4B量化版对个话都得几十秒还不稳定,叔能忍婶婶不能忍,时间比较贵😊

                                        T 1 条回复 最后回复
                                        0
                                        • williamlouisW williamlouis

                                          @Tiger 我做过测试。如果用在线的api 做一个作品。在同一个平台。你再起一个账号。只要提示词给力。你的作品就会被别人免费带走。你也可以试试。亲身经历。
                                          所以我才来老特这混混。
                                          本地算力对我们也一样重要。

                                          B 在线
                                          B 在线
                                          blackjack
                                          编写于 最后由 编辑
                                          #20

                                          @williamlouis 说:

                                          @Tiger 我做过测试。如果用在线的api 做一个作品。在同一个平台。你再起一个账号。只要提示词给力。你的作品就会被别人免费带走。你也可以试试。亲身经历。
                                          所以我才来老特这混混。
                                          本地算力对我们也一样重要。

                                          这个没想到啊,商业核心,无论大小,都得本地啊。

                                          1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 没有帐号? 注册

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组