跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 把Strata + Paiton 接入 DSH 实测,看看本地模型到底值不值

把Strata + Paiton 接入 DSH 实测,看看本地模型到底值不值

已定时 已固定 已锁定 已移动 LLM讨论区
stratadsharness本地模型
11 帖子 7 发布者 626 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT
    terryT
    terry
    易有太极
    编写于 最后由 编辑
    #2

    不错,是否合适只有自己测试了才知道,本地部署有本地部署的意义,就像27B,对于我而言,我愿意花时间打磨,它就很有意义,卡我也有,但是我不愿意花时间,就是测试的时候,偶尔干脏活用。

    油管:https://www.youtube.com/@抡锤者

    1 条回复 最后回复
    0
    • W
      W
      wml-ai
      体面乡绅 硕果累累
      编写于 最后由 编辑
      #3

      @terry 对于使用者来说,除了了解模型的能力,更重要的是了解模型的边界和驱动模型工作的规则。模型性能越堆越高,但落地实际跟预期相比还是有很大差距,当然有硬件的因素。但是在世界已经为AI陷入疯狂的时候,需要有一部分人用怀疑的眼光去审视。接触AI两年,亲身体会了技术的进步,但就我个人感受来说,仍是道阻且长,仍需努力,很多层面还是在吹泡泡。

      Windows-Mac-Linux-AI

      terryT 1 条回复 最后回复
      0
      • johnnybegoodJ
        johnnybegoodJ
        johnnybegood
        王侯将相
        编写于 最后由 编辑
        #4

        还需用发展的眼光看问题, 这周说得对,下周就不一定了

        terryT 1 条回复 最后回复
        1
        • W wml-ai

          @terry 对于使用者来说,除了了解模型的能力,更重要的是了解模型的边界和驱动模型工作的规则。模型性能越堆越高,但落地实际跟预期相比还是有很大差距,当然有硬件的因素。但是在世界已经为AI陷入疯狂的时候,需要有一部分人用怀疑的眼光去审视。接触AI两年,亲身体会了技术的进步,但就我个人感受来说,仍是道阻且长,仍需努力,很多层面还是在吹泡泡。

          terryT
          terryT
          terry
          易有太极
          编写于 最后由 编辑
          #5

          @wml-ai 模型的进步是不小的,Agent的进步更是超出预期。不过可能会在某个时间点,应该不会太久,到达瓶颈,等待下一次突破。

          油管:https://www.youtube.com/@抡锤者

          1 条回复 最后回复
          0
          • johnnybegoodJ johnnybegood

            还需用发展的眼光看问题, 这周说得对,下周就不一定了

            terryT
            terryT
            terry
            易有太极
            编写于 最后由 terry 编辑
            #6

            @johnnybegood 这是正确的观点。

            油管:https://www.youtube.com/@抡锤者

            1 条回复 最后回复
            0
            • 张光璞张
              张光璞张
              张光璞
              贵族大夫 硕果累累
              编写于 最后由 编辑
              #7

              看到回本35年笑了。 喜欢本地折腾的很多只是喜欢折腾。就像hifi 发烧友喜欢折腾器材远大于喜欢音乐

              张光璞张 1 条回复 最后回复
              0
              • 张光璞张 张光璞

                看到回本35年笑了。 喜欢本地折腾的很多只是喜欢折腾。就像hifi 发烧友喜欢折腾器材远大于喜欢音乐

                张光璞张
                张光璞张
                张光璞
                贵族大夫 硕果累累
                编写于 最后由 编辑
                #8

                张光璞 说:

                看到回本35年笑了。 很多喜欢本地折腾的很多只是喜欢折腾。就像hifi 发烧友喜欢折腾器材远大于喜欢音乐

                本地部署能满足日常轻办公就够了。真想高智力还是需要API 补充的。

                1 条回复 最后回复
                0
                • xiaopbroX
                  xiaopbroX
                  xiaopbro
                  体面乡绅
                  编写于 最后由 xiaopbro 编辑
                  #9

                  这个按整机按6万算的,如果按照便宜点的x99洋垃圾配置,R9700+X99+64G DDR4+电源硬盘机箱散热=17000元以内,这套配置的tok中位数是72,比你的92tok低了20%,那么可以算作效率低20%,
                  即回本周期分别为
                  35年 × 系数(1+20%)×1.7万元/6万元
                  =35×0.34=11.9年,
                  其他同理
                  7.1年×0.34=2.4年,
                  3.5年×0.34=1.19年,
                  2.6年×0.34=0.88年,
                  不到一年就回本,还是挺不错的,
                  如果换成7900xtx,价格少6000,总成本不到1.1W,tok是65左右,系数是 0.24,那么结论分别是 8.4年,1.7年,0.8年,0.6年
                  当然这只是数量的比较,严格来说tok的质量肯定是不如在线的

                  1 条回复 最后回复
                  0
                  • perterP
                    perterP
                    perter
                    贵族大夫 硕果累累
                    编写于 最后由 编辑
                    #10

                    靠流量费回本本身就不靠谱,靠AI赚钱回本还实际一点。

                    1 条回复 最后回复
                    0
                    • imbiplaza ASUSI
                      imbiplaza ASUSI
                      imbiplaza ASUS
                      谪仙人
                      编写于 最后由 imbiplaza ASUS 编辑
                      #11

                      其实我觉得最快回本的方法就是去711 或者麦当劳打工。。。然后用手机通过tailscale连接回家生成视频

                      1 条回复 最后回复
                      1
                      • ,系统 取消固定了此主题

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组