跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. 随便聊聊
  4. 拐点临近 - 基础设施够用了

拐点临近 - 基础设施够用了

已定时 已固定 已锁定 已移动 随便聊聊
本地模型sg-langhermes
27 帖子 8 发布者 314 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Tony WangT
    Tony WangT
    Tony Wang
    超级版主
    编写于 最后由 编辑
    #7

    我想等 strata NVFP4 版本成熟之后, 再试一下.

    1 条回复 最后回复
    0
    • terryT terry

      @kop-wang 我哥的装备非常适合跑strata,但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活,你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价,不值得。

      kop wangK
      kop wangK
      kop wang
      超级版主
      编写于 最后由 编辑
      #8

      @terry 确实,适合自己生产场景的就是最好的。

      我是图、视频创作就用线上(也是废话,没显存同时做),其他目前都主攻strata自部署。省钱的同时也顺便做测试。

      虚心交流,一起进步

      1 条回复 最后回复
      1
      • terryT terry

        @kop-wang 我哥的装备非常适合跑strata,但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活,你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价,不值得。

        kos orK
        kos orK
        kos or
        超凡大师
        编写于 最后由 编辑
        #9

        @terry said:

        或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活

        請問錘大,要怎麼讓Hermes 指揮DSH網頁版或App版呢 ?
        我都沒設置成功 😢 目前只能讓 Hermes 指揮Codex CLI 而已

        fcmeF 1 条回复 最后回复
        0
        • kop wangK kop wang

          可以试试strata,RAM够大的话,体验要比sglang+27B-nvfp4要好。
          prefill更稳,decode更快,智力更强,多会话缓存能力还更好。

          fcmeF
          fcmeF
          fcme
          超凡大师
          编写于 最后由 编辑
          #10

          @kop-wang
          Next flash确实体感是要强一点,但是速度来讲还是27b快。另外,next复莱史还有一个很大优点,我之前都没注意到,这玩儿跑起来显卡负载比较低,只有100多瓦。然后比较省电。😂😂😂

          1 条回复 最后回复
          0
          • Tony WangT
            Tony WangT
            Tony Wang
            超级版主
            编写于 最后由 Tony Wang 编辑
            #11

            @kos-or

            我有个经验, 写个小黑板.

            在文件系统, 或者email, 或者你的vps上, 建立一个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

            用CLI当然可以, 但是我总觉得心理不踏实, 用MCP网关又觉得太重.

            kos orK 1 条回复 最后回复
            0
            • kos orK kos or

              @terry said:

              或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活

              請問錘大,要怎麼讓Hermes 指揮DSH網頁版或App版呢 ?
              我都沒設置成功 😢 目前只能讓 Hermes 指揮Codex CLI 而已

              fcmeF
              fcmeF
              fcme
              超凡大师
              编写于 最后由 编辑
              #12

              @kos-or
              让Hermes指挥dsh感觉有一种脱屁子放库的感觉,哈哈。

              因为dsh本身就是一个更优秀的框架,Hermes如果搭配本地模型跑的话还是太慢了,而且Hermes呃它最大的优点用下来其实也是最大的缺点,它那个各种技能啊,各种文件野蛮生长,你要不维护的话,就很容易跑偏,而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。

              kop wangK kos orK 2 条回复 最后回复
              0
              • fcmeF fcme

                @kos-or
                让Hermes指挥dsh感觉有一种脱屁子放库的感觉,哈哈。

                因为dsh本身就是一个更优秀的框架,Hermes如果搭配本地模型跑的话还是太慢了,而且Hermes呃它最大的优点用下来其实也是最大的缺点,它那个各种技能啊,各种文件野蛮生长,你要不维护的话,就很容易跑偏,而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。

                kop wangK
                kop wangK
                kop wang
                超级版主
                编写于 最后由 编辑
                #13

                @fcme “而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。”

                确实,hermes目前的问题其实有点尴尬。要自学习、自进化,就得增加不确定性。
                但是如果加强确定性,自身的核心卖点又要被削弱。

                有点按下葫芦起了瓢的感觉。

                虚心交流,一起进步

                fcmeF 1 条回复 最后回复
                0
                • kop wangK kop wang

                  @fcme “而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。”

                  确实,hermes目前的问题其实有点尴尬。要自学习、自进化,就得增加不确定性。
                  但是如果加强确定性,自身的核心卖点又要被削弱。

                  有点按下葫芦起了瓢的感觉。

                  fcmeF
                  fcmeF
                  fcme
                  超凡大师
                  编写于 最后由 编辑
                  #14

                  @kop-wang
                  所以这个东西呢新手小白一用起来感觉哇,这也行,那也行,好美,但是用时间长了就感觉嗯有点怪怪的。

                  用dsh实际上也可以达到类似的效果,而且更明确就是你需要让他记住什么或者说创建什么技能的时候告诉他就行了。

                  其实我觉得两个功能上来讲没有太大的区别,但是dsh整体上用起来确实是快,体感就是会好很多,不像赫米斯那么的重,那么黏糊。

                  1 条回复 最后回复
                  0
                  • Tony WangT Tony Wang

                    @kos-or

                    我有个经验, 写个小黑板.

                    在文件系统, 或者email, 或者你的vps上, 建立一个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                    用CLI当然可以, 但是我总觉得心理不踏实, 用MCP网关又觉得太重.

                    kos orK
                    kos orK
                    kos or
                    超凡大师
                    编写于 最后由 编辑
                    #15

                    @Tony-Wang said:

                    有个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                    Hermes 內部有一個Kanban工具類似小黑板和A2A內部溝通工具,我最近整合了Kanban + A2A 跨Hermes Agents協作系統(agent 操作規定),讓兩個主Hermes Agent可以協作完成同一個任務; 不過還沒跑過測試 不知道效益如何 @@

                    應該是可以加入 Deepseek Harness到Kanban 小黑板內的,負責任務領取和回報

                    Tony WangT 1 条回复 最后回复
                    0
                    • Tony WangT
                      Tony WangT
                      Tony Wang
                      超级版主
                      编写于 最后由 Tony Wang 编辑
                      #16

                      @fcme @kop-wang

                      这是个两难. 不过Hermes的好处就是, 用久了, 都不用废话, 比如, 我说: "新扫描件, 归档"

                      它会:
                      1, 去我的Documents, Downloads, Desktop 中去找最新的扫描件
                      2, ocr , 偶尔还会调用vision
                      3, 根据内容和我的规则改名
                      4, 归档到我的obsidian相应的位置, 或者我专门的文件系统中
                      5, 在我的obsidian日记中记录一笔
                      6, 清理掉它自己的过程文件, 比如有时候ocr它觉得不通顺的时候, 它会调用27B的vision截图再看.
                      7, 清理掉我的原文件

                      这一系列, 就是我说 "新扫描件, 归档" , 之后发生的一切. 基本正确率100%

                      kop wangK 1 条回复 最后回复
                      0
                      • kos orK kos or

                        @Tony-Wang said:

                        有个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                        Hermes 內部有一個Kanban工具類似小黑板和A2A內部溝通工具,我最近整合了Kanban + A2A 跨Hermes Agents協作系統(agent 操作規定),讓兩個主Hermes Agent可以協作完成同一個任務; 不過還沒跑過測試 不知道效益如何 @@

                        應該是可以加入 Deepseek Harness到Kanban 小黑板內的,負責任務領取和回報

                        Tony WangT
                        Tony WangT
                        Tony Wang
                        超级版主
                        编写于 最后由 编辑
                        #17

                        @kos-or

                        kanban是hermes内部的, 而且kanban基本上不用我们维护, 它主要是排布一个任务的routing的. 当然我们可以手动去排布它.

                        你如果让其他Agent去动Hermes的看板的话, 我感觉还是有点儿问题.

                        kos orK 1 条回复 最后回复
                        0
                        • fcmeF fcme

                          @kos-or
                          让Hermes指挥dsh感觉有一种脱屁子放库的感觉,哈哈。

                          因为dsh本身就是一个更优秀的框架,Hermes如果搭配本地模型跑的话还是太慢了,而且Hermes呃它最大的优点用下来其实也是最大的缺点,它那个各种技能啊,各种文件野蛮生长,你要不维护的话,就很容易跑偏,而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。

                          kos orK
                          kos orK
                          kos or
                          超凡大师
                          编写于 最后由 编辑
                          #18

                          @fcme said:

                          让Hermes指挥dsh感觉有一种脱屁子放库的感觉

                          主要是因為使用者介面的關係,用久了習慣了UI和Hermes內部基本系統,
                          而且手機上用 Telegram操控Hermes 方便 當Agent入口用

                          DSH可能有手機版,我還沒找過 @@

                          fcmeF 1 条回复 最后回复
                          0
                          • Tony WangT Tony Wang

                            @fcme @kop-wang

                            这是个两难. 不过Hermes的好处就是, 用久了, 都不用废话, 比如, 我说: "新扫描件, 归档"

                            它会:
                            1, 去我的Documents, Downloads, Desktop 中去找最新的扫描件
                            2, ocr , 偶尔还会调用vision
                            3, 根据内容和我的规则改名
                            4, 归档到我的obsidian相应的位置, 或者我专门的文件系统中
                            5, 在我的obsidian日记中记录一笔
                            6, 清理掉它自己的过程文件, 比如有时候ocr它觉得不通顺的时候, 它会调用27B的vision截图再看.
                            7, 清理掉我的原文件

                            这一系列, 就是我说 "新扫描件, 归档" , 之后发生的一切. 基本正确率100%

                            kop wangK
                            kop wangK
                            kop wang
                            超级版主
                            编写于 最后由 编辑
                            #19

                            @Tony-Wang 这个相当于就是再繁复且不断积累的信息总量和误差,与模型更高的智力与统计学能力之间的此消彼长。

                            hermes目前的这个状态也算是这个时代独有的行为艺术了。

                            虚心交流,一起进步

                            1 条回复 最后回复
                            0
                            • Tony WangT
                              Tony WangT
                              Tony Wang
                              超级版主
                              编写于 最后由 编辑
                              #20

                              我最近使用 muse.ai , 感觉也非常不错.
                              调教得非常好, 简单易用. tool use 很惊艳, 帮我填写了不少在线表格了, 尤其是英文的.

                              Hermes当然也能做, 但是费劲得多.

                              johnnybegoodJ 1 条回复 最后回复
                              0
                              • kos orK kos or

                                @fcme said:

                                让Hermes指挥dsh感觉有一种脱屁子放库的感觉

                                主要是因為使用者介面的關係,用久了習慣了UI和Hermes內部基本系統,
                                而且手機上用 Telegram操控Hermes 方便 當Agent入口用

                                DSH可能有手機版,我還沒找過 @@

                                fcmeF
                                fcmeF
                                fcme
                                超凡大师
                                编写于 最后由 编辑
                                #21

                                @kos-or
                                设置个反代理,在网页使用就可以。其实dsh也可以接Telegram的

                                1 条回复 最后回复
                                1
                                • Tony WangT Tony Wang

                                  @kos-or

                                  kanban是hermes内部的, 而且kanban基本上不用我们维护, 它主要是排布一个任务的routing的. 当然我们可以手动去排布它.

                                  你如果让其他Agent去动Hermes的看板的话, 我感觉还是有点儿问题.

                                  kos orK
                                  kos orK
                                  kos or
                                  超凡大师
                                  编写于 最后由 kos or 编辑
                                  #22

                                  @Tony-Wang said:

                                  你如果让其他Agent去动Hermes的看板的话, 我感觉还是有点儿问题

                                  系統真複雜, 我真佩服agent在複雜的內文中 還能搞得懂要做什麼 😂
                                  我都快懶得看它安排的計畫了 - cognitive fatigue (有時候還不見得看得懂)
                                  直接okay, approved => Enter

                                  1 条回复 最后回复
                                  0
                                  • johnnybegoodJ
                                    johnnybegoodJ
                                    johnnybegood
                                    超凡大师
                                    编写于 最后由 编辑
                                    #23

                                    说实话, 我感觉自己好空虚, 就算我的AI能跑到 1000tok/s , 我都不知道可以做什么。。。

                                    fcmeF 1 条回复 最后回复
                                    0
                                    • Tony WangT Tony Wang

                                      我最近使用 muse.ai , 感觉也非常不错.
                                      调教得非常好, 简单易用. tool use 很惊艳, 帮我填写了不少在线表格了, 尤其是英文的.

                                      Hermes当然也能做, 但是费劲得多.

                                      johnnybegoodJ
                                      johnnybegoodJ
                                      johnnybegood
                                      超凡大师
                                      编写于 最后由 编辑
                                      #24

                                      @Tony-Wang 我还没有用muse, 不太懂哈, hermes或者 dsh+插件,不能完成muse.ai的工作么? 具体区别是什么呢?

                                      1 条回复 最后回复
                                      0
                                      • Tony WangT
                                        Tony WangT
                                        Tony Wang
                                        超级版主
                                        编写于 最后由 编辑
                                        #25

                                        hemes或者dsh, 配合插件等, 能完成.

                                        但是muse很简单, 完全傻瓜式操作, 基本不用你去配置什么东西.

                                        而且它的设计思想就是一个主聊天. 也没有什么project之类的东西. 可以有旁聊, 但是基本上一个聊天包打天下.

                                        所以现在很火, 各大厂都在抄. Hermes和DSH是给专业人用的. Muse是给小白用的.

                                        我预计tokens的费用, 过一段还得涨价. 因为普通人杀进来了, 之前普通人只是聊天而已. 现在他们能用傻瓜式的AI Agent了.

                                        1 条回复 最后回复
                                        0
                                        • johnnybegoodJ johnnybegood

                                          说实话, 我感觉自己好空虚, 就算我的AI能跑到 1000tok/s , 我都不知道可以做什么。。。

                                          fcmeF
                                          fcmeF
                                          fcme
                                          超凡大师
                                          编写于 最后由 编辑
                                          #26

                                          @johnnybegood
                                          这倒是个问题,我是非it人士,主要用它来协助我的工程师工作。有时候需要读大量的文档,人工读的话也比较容易漏掉关键信息。刚一开始是让AI读,然后让他给我总结并给出出处,然后一条一条核对。效率真的很高很多,有时候以前可能半天甚至一天的工作,基本上一两个小时就完成了,剩下的时间可以划水。

                                          1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组