跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. 随便聊聊
  4. 拐点临近 - 基础设施够用了

拐点临近 - 基础设施够用了

已定时 已固定 已锁定 已移动 随便聊聊
本地模型sg-langhermes
27 帖子 8 发布者 314 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • kop wangK kop wang

    可以试试strata,RAM够大的话,体验要比sglang+27B-nvfp4要好。
    prefill更稳,decode更快,智力更强,多会话缓存能力还更好。

    terryT
    terryT
    terry
    超级版主
    编写于 最后由 编辑
    #6

    @kop-wang 我哥的装备非常适合跑strata,但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活,你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价,不值得。

    油管:https://www.youtube.com/@抡锤者

    kop wangK kos orK 2 条回复 最后回复
    1
    • Tony WangT
      Tony WangT
      Tony Wang
      超级版主
      编写于 最后由 编辑
      #7

      我想等 strata NVFP4 版本成熟之后, 再试一下.

      1 条回复 最后回复
      0
      • terryT terry

        @kop-wang 我哥的装备非常适合跑strata,但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活,你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价,不值得。

        kop wangK
        kop wangK
        kop wang
        超级版主
        编写于 最后由 编辑
        #8

        @terry 确实,适合自己生产场景的就是最好的。

        我是图、视频创作就用线上(也是废话,没显存同时做),其他目前都主攻strata自部署。省钱的同时也顺便做测试。

        虚心交流,一起进步

        1 条回复 最后回复
        1
        • terryT terry

          @kop-wang 我哥的装备非常适合跑strata,但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活,你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价,不值得。

          kos orK
          kos orK
          kos or
          超凡大师
          编写于 最后由 编辑
          #9

          @terry said:

          或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活

          請問錘大,要怎麼讓Hermes 指揮DSH網頁版或App版呢 ?
          我都沒設置成功 😢 目前只能讓 Hermes 指揮Codex CLI 而已

          fcmeF 1 条回复 最后回复
          0
          • kop wangK kop wang

            可以试试strata,RAM够大的话,体验要比sglang+27B-nvfp4要好。
            prefill更稳,decode更快,智力更强,多会话缓存能力还更好。

            fcmeF
            fcmeF
            fcme
            超凡大师
            编写于 最后由 编辑
            #10

            @kop-wang
            Next flash确实体感是要强一点,但是速度来讲还是27b快。另外,next复莱史还有一个很大优点,我之前都没注意到,这玩儿跑起来显卡负载比较低,只有100多瓦。然后比较省电。😂😂😂

            1 条回复 最后回复
            0
            • Tony WangT
              Tony WangT
              Tony Wang
              超级版主
              编写于 最后由 Tony Wang 编辑
              #11

              @kos-or

              我有个经验, 写个小黑板.

              在文件系统, 或者email, 或者你的vps上, 建立一个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

              用CLI当然可以, 但是我总觉得心理不踏实, 用MCP网关又觉得太重.

              kos orK 1 条回复 最后回复
              0
              • kos orK kos or

                @terry said:

                或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活

                請問錘大,要怎麼讓Hermes 指揮DSH網頁版或App版呢 ?
                我都沒設置成功 😢 目前只能讓 Hermes 指揮Codex CLI 而已

                fcmeF
                fcmeF
                fcme
                超凡大师
                编写于 最后由 编辑
                #12

                @kos-or
                让Hermes指挥dsh感觉有一种脱屁子放库的感觉,哈哈。

                因为dsh本身就是一个更优秀的框架,Hermes如果搭配本地模型跑的话还是太慢了,而且Hermes呃它最大的优点用下来其实也是最大的缺点,它那个各种技能啊,各种文件野蛮生长,你要不维护的话,就很容易跑偏,而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。

                kop wangK kos orK 2 条回复 最后回复
                0
                • fcmeF fcme

                  @kos-or
                  让Hermes指挥dsh感觉有一种脱屁子放库的感觉,哈哈。

                  因为dsh本身就是一个更优秀的框架,Hermes如果搭配本地模型跑的话还是太慢了,而且Hermes呃它最大的优点用下来其实也是最大的缺点,它那个各种技能啊,各种文件野蛮生长,你要不维护的话,就很容易跑偏,而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。

                  kop wangK
                  kop wangK
                  kop wang
                  超级版主
                  编写于 最后由 编辑
                  #13

                  @fcme “而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。”

                  确实,hermes目前的问题其实有点尴尬。要自学习、自进化,就得增加不确定性。
                  但是如果加强确定性,自身的核心卖点又要被削弱。

                  有点按下葫芦起了瓢的感觉。

                  虚心交流,一起进步

                  fcmeF 1 条回复 最后回复
                  0
                  • kop wangK kop wang

                    @fcme “而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。”

                    确实,hermes目前的问题其实有点尴尬。要自学习、自进化,就得增加不确定性。
                    但是如果加强确定性,自身的核心卖点又要被削弱。

                    有点按下葫芦起了瓢的感觉。

                    fcmeF
                    fcmeF
                    fcme
                    超凡大师
                    编写于 最后由 编辑
                    #14

                    @kop-wang
                    所以这个东西呢新手小白一用起来感觉哇,这也行,那也行,好美,但是用时间长了就感觉嗯有点怪怪的。

                    用dsh实际上也可以达到类似的效果,而且更明确就是你需要让他记住什么或者说创建什么技能的时候告诉他就行了。

                    其实我觉得两个功能上来讲没有太大的区别,但是dsh整体上用起来确实是快,体感就是会好很多,不像赫米斯那么的重,那么黏糊。

                    1 条回复 最后回复
                    0
                    • Tony WangT Tony Wang

                      @kos-or

                      我有个经验, 写个小黑板.

                      在文件系统, 或者email, 或者你的vps上, 建立一个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                      用CLI当然可以, 但是我总觉得心理不踏实, 用MCP网关又觉得太重.

                      kos orK
                      kos orK
                      kos or
                      超凡大师
                      编写于 最后由 编辑
                      #15

                      @Tony-Wang said:

                      有个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                      Hermes 內部有一個Kanban工具類似小黑板和A2A內部溝通工具,我最近整合了Kanban + A2A 跨Hermes Agents協作系統(agent 操作規定),讓兩個主Hermes Agent可以協作完成同一個任務; 不過還沒跑過測試 不知道效益如何 @@

                      應該是可以加入 Deepseek Harness到Kanban 小黑板內的,負責任務領取和回報

                      Tony WangT 1 条回复 最后回复
                      0
                      • Tony WangT
                        Tony WangT
                        Tony Wang
                        超级版主
                        编写于 最后由 Tony Wang 编辑
                        #16

                        @fcme @kop-wang

                        这是个两难. 不过Hermes的好处就是, 用久了, 都不用废话, 比如, 我说: "新扫描件, 归档"

                        它会:
                        1, 去我的Documents, Downloads, Desktop 中去找最新的扫描件
                        2, ocr , 偶尔还会调用vision
                        3, 根据内容和我的规则改名
                        4, 归档到我的obsidian相应的位置, 或者我专门的文件系统中
                        5, 在我的obsidian日记中记录一笔
                        6, 清理掉它自己的过程文件, 比如有时候ocr它觉得不通顺的时候, 它会调用27B的vision截图再看.
                        7, 清理掉我的原文件

                        这一系列, 就是我说 "新扫描件, 归档" , 之后发生的一切. 基本正确率100%

                        kop wangK 1 条回复 最后回复
                        0
                        • kos orK kos or

                          @Tony-Wang said:

                          有个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                          Hermes 內部有一個Kanban工具類似小黑板和A2A內部溝通工具,我最近整合了Kanban + A2A 跨Hermes Agents協作系統(agent 操作規定),讓兩個主Hermes Agent可以協作完成同一個任務; 不過還沒跑過測試 不知道效益如何 @@

                          應該是可以加入 Deepseek Harness到Kanban 小黑板內的,負責任務領取和回報

                          Tony WangT
                          Tony WangT
                          Tony Wang
                          超级版主
                          编写于 最后由 编辑
                          #17

                          @kos-or

                          kanban是hermes内部的, 而且kanban基本上不用我们维护, 它主要是排布一个任务的routing的. 当然我们可以手动去排布它.

                          你如果让其他Agent去动Hermes的看板的话, 我感觉还是有点儿问题.

                          kos orK 1 条回复 最后回复
                          0
                          • fcmeF fcme

                            @kos-or
                            让Hermes指挥dsh感觉有一种脱屁子放库的感觉,哈哈。

                            因为dsh本身就是一个更优秀的框架,Hermes如果搭配本地模型跑的话还是太慢了,而且Hermes呃它最大的优点用下来其实也是最大的缺点,它那个各种技能啊,各种文件野蛮生长,你要不维护的话,就很容易跑偏,而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。

                            kos orK
                            kos orK
                            kos or
                            超凡大师
                            编写于 最后由 编辑
                            #18

                            @fcme said:

                            让Hermes指挥dsh感觉有一种脱屁子放库的感觉

                            主要是因為使用者介面的關係,用久了習慣了UI和Hermes內部基本系統,
                            而且手機上用 Telegram操控Hermes 方便 當Agent入口用

                            DSH可能有手機版,我還沒找過 @@

                            fcmeF 1 条回复 最后回复
                            0
                            • Tony WangT Tony Wang

                              @fcme @kop-wang

                              这是个两难. 不过Hermes的好处就是, 用久了, 都不用废话, 比如, 我说: "新扫描件, 归档"

                              它会:
                              1, 去我的Documents, Downloads, Desktop 中去找最新的扫描件
                              2, ocr , 偶尔还会调用vision
                              3, 根据内容和我的规则改名
                              4, 归档到我的obsidian相应的位置, 或者我专门的文件系统中
                              5, 在我的obsidian日记中记录一笔
                              6, 清理掉它自己的过程文件, 比如有时候ocr它觉得不通顺的时候, 它会调用27B的vision截图再看.
                              7, 清理掉我的原文件

                              这一系列, 就是我说 "新扫描件, 归档" , 之后发生的一切. 基本正确率100%

                              kop wangK
                              kop wangK
                              kop wang
                              超级版主
                              编写于 最后由 编辑
                              #19

                              @Tony-Wang 这个相当于就是再繁复且不断积累的信息总量和误差,与模型更高的智力与统计学能力之间的此消彼长。

                              hermes目前的这个状态也算是这个时代独有的行为艺术了。

                              虚心交流,一起进步

                              1 条回复 最后回复
                              0
                              • Tony WangT
                                Tony WangT
                                Tony Wang
                                超级版主
                                编写于 最后由 编辑
                                #20

                                我最近使用 muse.ai , 感觉也非常不错.
                                调教得非常好, 简单易用. tool use 很惊艳, 帮我填写了不少在线表格了, 尤其是英文的.

                                Hermes当然也能做, 但是费劲得多.

                                johnnybegoodJ 1 条回复 最后回复
                                0
                                • kos orK kos or

                                  @fcme said:

                                  让Hermes指挥dsh感觉有一种脱屁子放库的感觉

                                  主要是因為使用者介面的關係,用久了習慣了UI和Hermes內部基本系統,
                                  而且手機上用 Telegram操控Hermes 方便 當Agent入口用

                                  DSH可能有手機版,我還沒找過 @@

                                  fcmeF
                                  fcmeF
                                  fcme
                                  超凡大师
                                  编写于 最后由 编辑
                                  #21

                                  @kos-or
                                  设置个反代理,在网页使用就可以。其实dsh也可以接Telegram的

                                  1 条回复 最后回复
                                  1
                                  • Tony WangT Tony Wang

                                    @kos-or

                                    kanban是hermes内部的, 而且kanban基本上不用我们维护, 它主要是排布一个任务的routing的. 当然我们可以手动去排布它.

                                    你如果让其他Agent去动Hermes的看板的话, 我感觉还是有点儿问题.

                                    kos orK
                                    kos orK
                                    kos or
                                    超凡大师
                                    编写于 最后由 kos or 编辑
                                    #22

                                    @Tony-Wang said:

                                    你如果让其他Agent去动Hermes的看板的话, 我感觉还是有点儿问题

                                    系統真複雜, 我真佩服agent在複雜的內文中 還能搞得懂要做什麼 😂
                                    我都快懶得看它安排的計畫了 - cognitive fatigue (有時候還不見得看得懂)
                                    直接okay, approved => Enter

                                    1 条回复 最后回复
                                    0
                                    • johnnybegoodJ
                                      johnnybegoodJ
                                      johnnybegood
                                      超凡大师
                                      编写于 最后由 编辑
                                      #23

                                      说实话, 我感觉自己好空虚, 就算我的AI能跑到 1000tok/s , 我都不知道可以做什么。。。

                                      fcmeF 1 条回复 最后回复
                                      0
                                      • Tony WangT Tony Wang

                                        我最近使用 muse.ai , 感觉也非常不错.
                                        调教得非常好, 简单易用. tool use 很惊艳, 帮我填写了不少在线表格了, 尤其是英文的.

                                        Hermes当然也能做, 但是费劲得多.

                                        johnnybegoodJ
                                        johnnybegoodJ
                                        johnnybegood
                                        超凡大师
                                        编写于 最后由 编辑
                                        #24

                                        @Tony-Wang 我还没有用muse, 不太懂哈, hermes或者 dsh+插件,不能完成muse.ai的工作么? 具体区别是什么呢?

                                        1 条回复 最后回复
                                        0
                                        • Tony WangT
                                          Tony WangT
                                          Tony Wang
                                          超级版主
                                          编写于 最后由 编辑
                                          #25

                                          hemes或者dsh, 配合插件等, 能完成.

                                          但是muse很简单, 完全傻瓜式操作, 基本不用你去配置什么东西.

                                          而且它的设计思想就是一个主聊天. 也没有什么project之类的东西. 可以有旁聊, 但是基本上一个聊天包打天下.

                                          所以现在很火, 各大厂都在抄. Hermes和DSH是给专业人用的. Muse是给小白用的.

                                          我预计tokens的费用, 过一段还得涨价. 因为普通人杀进来了, 之前普通人只是聊天而已. 现在他们能用傻瓜式的AI Agent了.

                                          1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组