跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. 随便聊聊
  4. 拐点临近 - 基础设施够用了

拐点临近 - 基础设施够用了

已定时 已固定 已锁定 已移动 随便聊聊
本地模型sg-langhermes
27 帖子 8 发布者 314 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • kop wangK
    kop wangK
    kop wang
    超级版主
    编写于 最后由 kop wang 编辑
    #4

    可以试试strata,RAM够大的话,体验要比sglang+27B-nvfp4要好。
    prefill更稳,decode更快,智力更强,多会话缓存能力还更好。

    虚心交流,一起进步

    terryT fcmeF 2 条回复 最后回复
    1
    • rock shiR
      rock shiR
      rock shi
      德高望重 劳动模范
      编写于 最后由 编辑
      #5

      同感!今天刚刚跟朋友在聊,strata的出现真的觉得基础设施基本不再是问题。问题是如何落地了

      主机:GPU0-3080 20g(H3),GPU1-3080 20g(Zimage)
      副机:2x2080ti 22g,strata qwen3.8 next Flash iq3_s

      1 条回复 最后回复
      0
      • kop wangK kop wang

        可以试试strata,RAM够大的话,体验要比sglang+27B-nvfp4要好。
        prefill更稳,decode更快,智力更强,多会话缓存能力还更好。

        terryT
        terryT
        terry
        超级版主
        编写于 最后由 编辑
        #6

        @kop-wang 我哥的装备非常适合跑strata,但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活,你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价,不值得。

        油管:https://www.youtube.com/@抡锤者

        kop wangK kos orK 2 条回复 最后回复
        1
        • Tony WangT
          Tony WangT
          Tony Wang
          超级版主
          编写于 最后由 编辑
          #7

          我想等 strata NVFP4 版本成熟之后, 再试一下.

          1 条回复 最后回复
          0
          • terryT terry

            @kop-wang 我哥的装备非常适合跑strata,但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活,你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价,不值得。

            kop wangK
            kop wangK
            kop wang
            超级版主
            编写于 最后由 编辑
            #8

            @terry 确实,适合自己生产场景的就是最好的。

            我是图、视频创作就用线上(也是废话,没显存同时做),其他目前都主攻strata自部署。省钱的同时也顺便做测试。

            虚心交流,一起进步

            1 条回复 最后回复
            1
            • terryT terry

              @kop-wang 我哥的装备非常适合跑strata,但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活,你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价,不值得。

              kos orK
              kos orK
              kos or
              超凡大师
              编写于 最后由 编辑
              #9

              @terry said:

              或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活

              請問錘大,要怎麼讓Hermes 指揮DSH網頁版或App版呢 ?
              我都沒設置成功 😢 目前只能讓 Hermes 指揮Codex CLI 而已

              fcmeF 1 条回复 最后回复
              0
              • kop wangK kop wang

                可以试试strata,RAM够大的话,体验要比sglang+27B-nvfp4要好。
                prefill更稳,decode更快,智力更强,多会话缓存能力还更好。

                fcmeF
                fcmeF
                fcme
                超凡大师
                编写于 最后由 编辑
                #10

                @kop-wang
                Next flash确实体感是要强一点,但是速度来讲还是27b快。另外,next复莱史还有一个很大优点,我之前都没注意到,这玩儿跑起来显卡负载比较低,只有100多瓦。然后比较省电。😂😂😂

                1 条回复 最后回复
                0
                • Tony WangT
                  Tony WangT
                  Tony Wang
                  超级版主
                  编写于 最后由 Tony Wang 编辑
                  #11

                  @kos-or

                  我有个经验, 写个小黑板.

                  在文件系统, 或者email, 或者你的vps上, 建立一个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                  用CLI当然可以, 但是我总觉得心理不踏实, 用MCP网关又觉得太重.

                  kos orK 1 条回复 最后回复
                  0
                  • kos orK kos or

                    @terry said:

                    或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活

                    請問錘大,要怎麼讓Hermes 指揮DSH網頁版或App版呢 ?
                    我都沒設置成功 😢 目前只能讓 Hermes 指揮Codex CLI 而已

                    fcmeF
                    fcmeF
                    fcme
                    超凡大师
                    编写于 最后由 编辑
                    #12

                    @kos-or
                    让Hermes指挥dsh感觉有一种脱屁子放库的感觉,哈哈。

                    因为dsh本身就是一个更优秀的框架,Hermes如果搭配本地模型跑的话还是太慢了,而且Hermes呃它最大的优点用下来其实也是最大的缺点,它那个各种技能啊,各种文件野蛮生长,你要不维护的话,就很容易跑偏,而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。

                    kop wangK kos orK 2 条回复 最后回复
                    0
                    • fcmeF fcme

                      @kos-or
                      让Hermes指挥dsh感觉有一种脱屁子放库的感觉,哈哈。

                      因为dsh本身就是一个更优秀的框架,Hermes如果搭配本地模型跑的话还是太慢了,而且Hermes呃它最大的优点用下来其实也是最大的缺点,它那个各种技能啊,各种文件野蛮生长,你要不维护的话,就很容易跑偏,而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。

                      kop wangK
                      kop wangK
                      kop wang
                      超级版主
                      编写于 最后由 编辑
                      #13

                      @fcme “而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。”

                      确实,hermes目前的问题其实有点尴尬。要自学习、自进化,就得增加不确定性。
                      但是如果加强确定性,自身的核心卖点又要被削弱。

                      有点按下葫芦起了瓢的感觉。

                      虚心交流,一起进步

                      fcmeF 1 条回复 最后回复
                      0
                      • kop wangK kop wang

                        @fcme “而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。”

                        确实,hermes目前的问题其实有点尴尬。要自学习、自进化,就得增加不确定性。
                        但是如果加强确定性,自身的核心卖点又要被削弱。

                        有点按下葫芦起了瓢的感觉。

                        fcmeF
                        fcmeF
                        fcme
                        超凡大师
                        编写于 最后由 编辑
                        #14

                        @kop-wang
                        所以这个东西呢新手小白一用起来感觉哇,这也行,那也行,好美,但是用时间长了就感觉嗯有点怪怪的。

                        用dsh实际上也可以达到类似的效果,而且更明确就是你需要让他记住什么或者说创建什么技能的时候告诉他就行了。

                        其实我觉得两个功能上来讲没有太大的区别,但是dsh整体上用起来确实是快,体感就是会好很多,不像赫米斯那么的重,那么黏糊。

                        1 条回复 最后回复
                        0
                        • Tony WangT Tony Wang

                          @kos-or

                          我有个经验, 写个小黑板.

                          在文件系统, 或者email, 或者你的vps上, 建立一个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                          用CLI当然可以, 但是我总觉得心理不踏实, 用MCP网关又觉得太重.

                          kos orK
                          kos orK
                          kos or
                          超凡大师
                          编写于 最后由 编辑
                          #15

                          @Tony-Wang said:

                          有个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                          Hermes 內部有一個Kanban工具類似小黑板和A2A內部溝通工具,我最近整合了Kanban + A2A 跨Hermes Agents協作系統(agent 操作規定),讓兩個主Hermes Agent可以協作完成同一個任務; 不過還沒跑過測試 不知道效益如何 @@

                          應該是可以加入 Deepseek Harness到Kanban 小黑板內的,負責任務領取和回報

                          Tony WangT 1 条回复 最后回复
                          0
                          • Tony WangT
                            Tony WangT
                            Tony Wang
                            超级版主
                            编写于 最后由 Tony Wang 编辑
                            #16

                            @fcme @kop-wang

                            这是个两难. 不过Hermes的好处就是, 用久了, 都不用废话, 比如, 我说: "新扫描件, 归档"

                            它会:
                            1, 去我的Documents, Downloads, Desktop 中去找最新的扫描件
                            2, ocr , 偶尔还会调用vision
                            3, 根据内容和我的规则改名
                            4, 归档到我的obsidian相应的位置, 或者我专门的文件系统中
                            5, 在我的obsidian日记中记录一笔
                            6, 清理掉它自己的过程文件, 比如有时候ocr它觉得不通顺的时候, 它会调用27B的vision截图再看.
                            7, 清理掉我的原文件

                            这一系列, 就是我说 "新扫描件, 归档" , 之后发生的一切. 基本正确率100%

                            kop wangK 1 条回复 最后回复
                            0
                            • kos orK kos or

                              @Tony-Wang said:

                              有个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                              Hermes 內部有一個Kanban工具類似小黑板和A2A內部溝通工具,我最近整合了Kanban + A2A 跨Hermes Agents協作系統(agent 操作規定),讓兩個主Hermes Agent可以協作完成同一個任務; 不過還沒跑過測試 不知道效益如何 @@

                              應該是可以加入 Deepseek Harness到Kanban 小黑板內的,負責任務領取和回報

                              Tony WangT
                              Tony WangT
                              Tony Wang
                              超级版主
                              编写于 最后由 编辑
                              #17

                              @kos-or

                              kanban是hermes内部的, 而且kanban基本上不用我们维护, 它主要是排布一个任务的routing的. 当然我们可以手动去排布它.

                              你如果让其他Agent去动Hermes的看板的话, 我感觉还是有点儿问题.

                              kos orK 1 条回复 最后回复
                              0
                              • fcmeF fcme

                                @kos-or
                                让Hermes指挥dsh感觉有一种脱屁子放库的感觉,哈哈。

                                因为dsh本身就是一个更优秀的框架,Hermes如果搭配本地模型跑的话还是太慢了,而且Hermes呃它最大的优点用下来其实也是最大的缺点,它那个各种技能啊,各种文件野蛮生长,你要不维护的话,就很容易跑偏,而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。

                                kos orK
                                kos orK
                                kos or
                                超凡大师
                                编写于 最后由 编辑
                                #18

                                @fcme said:

                                让Hermes指挥dsh感觉有一种脱屁子放库的感觉

                                主要是因為使用者介面的關係,用久了習慣了UI和Hermes內部基本系統,
                                而且手機上用 Telegram操控Hermes 方便 當Agent入口用

                                DSH可能有手機版,我還沒找過 @@

                                fcmeF 1 条回复 最后回复
                                0
                                • Tony WangT Tony Wang

                                  @fcme @kop-wang

                                  这是个两难. 不过Hermes的好处就是, 用久了, 都不用废话, 比如, 我说: "新扫描件, 归档"

                                  它会:
                                  1, 去我的Documents, Downloads, Desktop 中去找最新的扫描件
                                  2, ocr , 偶尔还会调用vision
                                  3, 根据内容和我的规则改名
                                  4, 归档到我的obsidian相应的位置, 或者我专门的文件系统中
                                  5, 在我的obsidian日记中记录一笔
                                  6, 清理掉它自己的过程文件, 比如有时候ocr它觉得不通顺的时候, 它会调用27B的vision截图再看.
                                  7, 清理掉我的原文件

                                  这一系列, 就是我说 "新扫描件, 归档" , 之后发生的一切. 基本正确率100%

                                  kop wangK
                                  kop wangK
                                  kop wang
                                  超级版主
                                  编写于 最后由 编辑
                                  #19

                                  @Tony-Wang 这个相当于就是再繁复且不断积累的信息总量和误差,与模型更高的智力与统计学能力之间的此消彼长。

                                  hermes目前的这个状态也算是这个时代独有的行为艺术了。

                                  虚心交流,一起进步

                                  1 条回复 最后回复
                                  0
                                  • Tony WangT
                                    Tony WangT
                                    Tony Wang
                                    超级版主
                                    编写于 最后由 编辑
                                    #20

                                    我最近使用 muse.ai , 感觉也非常不错.
                                    调教得非常好, 简单易用. tool use 很惊艳, 帮我填写了不少在线表格了, 尤其是英文的.

                                    Hermes当然也能做, 但是费劲得多.

                                    johnnybegoodJ 1 条回复 最后回复
                                    0
                                    • kos orK kos or

                                      @fcme said:

                                      让Hermes指挥dsh感觉有一种脱屁子放库的感觉

                                      主要是因為使用者介面的關係,用久了習慣了UI和Hermes內部基本系統,
                                      而且手機上用 Telegram操控Hermes 方便 當Agent入口用

                                      DSH可能有手機版,我還沒找過 @@

                                      fcmeF
                                      fcmeF
                                      fcme
                                      超凡大师
                                      编写于 最后由 编辑
                                      #21

                                      @kos-or
                                      设置个反代理,在网页使用就可以。其实dsh也可以接Telegram的

                                      1 条回复 最后回复
                                      1
                                      • Tony WangT Tony Wang

                                        @kos-or

                                        kanban是hermes内部的, 而且kanban基本上不用我们维护, 它主要是排布一个任务的routing的. 当然我们可以手动去排布它.

                                        你如果让其他Agent去动Hermes的看板的话, 我感觉还是有点儿问题.

                                        kos orK
                                        kos orK
                                        kos or
                                        超凡大师
                                        编写于 最后由 kos or 编辑
                                        #22

                                        @Tony-Wang said:

                                        你如果让其他Agent去动Hermes的看板的话, 我感觉还是有点儿问题

                                        系統真複雜, 我真佩服agent在複雜的內文中 還能搞得懂要做什麼 😂
                                        我都快懶得看它安排的計畫了 - cognitive fatigue (有時候還不見得看得懂)
                                        直接okay, approved => Enter

                                        1 条回复 最后回复
                                        0
                                        • johnnybegoodJ
                                          johnnybegoodJ
                                          johnnybegood
                                          超凡大师
                                          编写于 最后由 编辑
                                          #23

                                          说实话, 我感觉自己好空虚, 就算我的AI能跑到 1000tok/s , 我都不知道可以做什么。。。

                                          fcmeF 1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组