跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
  1. 主页
  2. 版块
  3. AI硬件
  4. 本地大模型部署的必要性分析,请大家投票。

本地大模型部署的必要性分析,请大家投票。

已定时 已固定 已锁定 已移动 AI硬件
本地模型
24 帖子 16 发布者 565 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • CHIA AN YANGC 离线
    CHIA AN YANGC 离线
    CHIA AN YANG
    超凡大师
    编写于 最后由 编辑
    #10

    當然要本地 才可以出色色圖文 哈,看需求吧,沒需求當然是雲端API便宜又快

    kos orK terryT 2 条回复 最后回复
    1
    • yangpiaoY yangpiao

      目前个人配置14600KF,5060ti16g,思考良久还是不打算花钱买硬件部署本地大模型,每次需要用到AI的场景只要涉及到真正生产力的地方还是最终会用云端,个人本地再怎么布置还是明显比云端最便宜的质量要差,不仅仅如此,计算了下,要驱动agent功能至少花1~2万的钱部署本地,这钱买云端的似乎5年都用不完,质量还好的多。
      请问各位目前有哪些任务涉及到真正生产力的是用本地大模型的,如用本地的任务量如果改用云端的话是否更划算呢?

      kos orK 离线
      kos orK 离线
      kos or
      技术大牛 劳动模范
      编写于 最后由 编辑
      #11

      @yangpiao said:

      这钱买云端的似乎5年都用不完,质量还好的多

      雲端一個月20美元 x 12月 x 10 年 =US$2400
      10 年用不到半台DGX Spark的價格
      這論述可以

      1 条回复 最后回复
      1
      • CHIA AN YANGC CHIA AN YANG

        當然要本地 才可以出色色圖文 哈,看需求吧,沒需求當然是雲端API便宜又快

        kos orK 离线
        kos orK 离线
        kos or
        技术大牛 劳动模范
        编写于 最后由 编辑
        #12

        @CHIA-AN-YANG said:

        出色色圖文 哈,看需求吧

        色色圖文有雲端Venice AI 但有點數限制
        不小心太衝動用量過多只好充值一下當月點數

        1 条回复 最后回复
        0
        • mei liM 离线
          mei liM 离线
          mei li
          德高望重 劳动模范
          编写于 最后由 编辑
          #13

          你问这个问题就是肯定是你不需要,本地模型就相当于完全属于你,而远程的API你只是一个使用权而已,而且可以无审查,也不用担心涨价问题,先了解了解是没什么问题的,等你有需要的时候再来去购买硬件使用也可以。

          1 条回复 最后回复
          1
          • rock shiR 离线
            rock shiR 离线
            rock shi
            劳动模范 德高望重
            编写于 最后由 编辑
            #14

            DeepSeek涨价以后正好qwen3.8上线,就加入了本地算力,平均每天费用跟DeepSeek涨价之前差不多,算上电费平均每天还是六七块钱。有了本地算力以后以前不敢玩的现在敢玩了,实际上使用量是增加了。代价就是个人本地算力不能多请求,效率慢了很多。(设备双2080ti 22g魔改,vllm+qwen3.8-27b-fp8-16kv-128k,整机价格6500元左右)

            主机:GPU0-3080 20g(H3),GPU1-3080 20g(Zimage)
            副机:2x2080ti 22g,vllm+qwen3.8-27b-fp8-16kv-128k

            1 条回复 最后回复
            1
            • C 离线
              C 离线
              Che
              德高望重
              编写于 最后由 编辑
              #15

              我入坑本地部署得到的最大教训就是不要本地部署。先建立你完整的AI工作流,跑一段时间后分析成本,再决定要不要做本地部署,否则真的就只是在“玩”。

              1 条回复 最后回复
              1
              • BunseiB 离线
                BunseiB 离线
                Bunsei
                德高望重
                编写于 最后由 Bunsei 编辑
                #16

                其实说实在的,3.8的能力差不多等同于V4-Flash-0731,在 合理 的规划下,你可以把你的所有工作数据、跟客户沟通的资料、需求文档、解决方案、代码全部交给它处理。
                现在我的工作状态就是,挂机一晚上让他写代码分析、实现需求,第二天上班一边水帖子,一边测试3.8挂机一晚上写的东西。下午再摸一下午的鱼。一晚上能完成之前3~5天的开发进度。
                至于你说花几万整的这些硬件.... 那你手里不还有硬件吗。用两年出掉换新的就行,按照这个行情,价格会很坚挺的。

                terryT 1 条回复 最后回复
                1
                • williamlouisW williamlouis

                  这个我个人意见是不需要投票。
                  没有什么意义。
                  你到低需不需要一个本地大模型不是别人能投票决定的。
                  每个人自己需要什么难道还需要别人投票决定?
                  这个议题很荒诞。

                  terryT 离线
                  terryT 离线
                  terry
                  超级版主
                  编写于 最后由 编辑
                  #17

                  @williamlouis 我弟最近很犀利啊,人品贵重,可登大宝。

                  油管:https://www.youtube.com/@抡锤者

                  1 条回复 最后回复
                  0
                  • CHIA AN YANGC CHIA AN YANG

                    當然要本地 才可以出色色圖文 哈,看需求吧,沒需求當然是雲端API便宜又快

                    terryT 离线
                    terryT 离线
                    terry
                    超级版主
                    编写于 最后由 编辑
                    #18

                    @CHIA-AN-YANG 老色批终于暴露本性,让我来细细审查你的犯罪作品。

                    油管:https://www.youtube.com/@抡锤者

                    1 条回复 最后回复
                    0
                    • BunseiB Bunsei

                      其实说实在的,3.8的能力差不多等同于V4-Flash-0731,在 合理 的规划下,你可以把你的所有工作数据、跟客户沟通的资料、需求文档、解决方案、代码全部交给它处理。
                      现在我的工作状态就是,挂机一晚上让他写代码分析、实现需求,第二天上班一边水帖子,一边测试3.8挂机一晚上写的东西。下午再摸一下午的鱼。一晚上能完成之前3~5天的开发进度。
                      至于你说花几万整的这些硬件.... 那你手里不还有硬件吗。用两年出掉换新的就行,按照这个行情,价格会很坚挺的。

                      terryT 离线
                      terryT 离线
                      terry
                      超级版主
                      编写于 最后由 编辑
                      #19

                      @Bunsei 可以理解慢一点,稍差一点的替代,尤其是24G的xtx + llama.cpp这样的无脑入门方案,噪音比涡轮卡低得多,事实上可以容忍。这玩意2年后还能卖个2000。

                      油管:https://www.youtube.com/@抡锤者

                      1 条回复 最后回复
                      0
                      • williamlouisW 离线
                        williamlouisW 离线
                        williamlouis
                        超级版主
                        编写于 最后由 编辑
                        #20

                        @terry
                        一周了。原来是感冒了。
                        现在的感冒症状太强烈了。
                        想住院疗养的节奏。

                        个人主页:xlkj.org Telegram https://t.me/xlkjorg

                        terryT 1 条回复 最后回复
                        1
                        • williamlouisW williamlouis

                          @terry
                          一周了。原来是感冒了。
                          现在的感冒症状太强烈了。
                          想住院疗养的节奏。

                          terryT 离线
                          terryT 离线
                          terry
                          超级版主
                          编写于 最后由 terry 编辑
                          #21

                          @williamlouis 愿病魔早日战胜你,阿门!Steam账号记得留给我,你的遗产不能浪费了。

                          油管:https://www.youtube.com/@抡锤者

                          1 条回复 最后回复
                          0
                          • imbiplaza ASUSI 离线
                            imbiplaza ASUSI 离线
                            imbiplaza ASUS
                            至尊王者
                            编写于 最后由 编辑
                            #22

                            最近开发了这一套minimax h3 studio, 不使用本地qwen3.8 不行,他能大大减少重复性的工作,
                            意思是,自动填入视频timeline

                            Screenshot 2026-08-23 214016111.png

                            https://lcz.me/project/dcs

                            terryT 1 条回复 最后回复
                            1
                            • imbiplaza ASUSI imbiplaza ASUS

                              最近开发了这一套minimax h3 studio, 不使用本地qwen3.8 不行,他能大大减少重复性的工作,
                              意思是,自动填入视频timeline

                              Screenshot 2026-08-23 214016111.png

                              terryT 离线
                              terryT 离线
                              terry
                              超级版主
                              编写于 最后由 编辑
                              #23

                              @imbiplaza-ASUS 太复杂了,哥们,这样的UI太厚重,直接让Agent接手就行了。

                              油管:https://www.youtube.com/@抡锤者

                              imbiplaza ASUSI 1 条回复 最后回复
                              0
                              • terryT terry

                                @imbiplaza-ASUS 太复杂了,哥们,这样的UI太厚重,直接让Agent接手就行了。

                                imbiplaza ASUSI 离线
                                imbiplaza ASUSI 离线
                                imbiplaza ASUS
                                至尊王者
                                编写于 最后由 编辑
                                #24

                                @terry
                                因为我想亲自体验一手一脚去雕刻创作作品的乐趣

                                https://lcz.me/project/dcs

                                1 条回复 最后回复
                                0

                                你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                                有了你的建议,这篇帖子会更精彩哦 💗

                                注册 登录
                                回复
                                • 在新帖中回复
                                登录后回复
                                • 从旧到新
                                • 从新到旧
                                • 最多赞同


                                • 登录

                                • 登录或注册以进行搜索。
                                • 第一个帖子
                                  最后一个帖子
                                0
                                • 版块
                                • 最新
                                • 标签
                                • 热门
                                • 用户
                                • 群组