跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. 随便聊聊
  4. 拐点临近 - 基础设施够用了

拐点临近 - 基础设施够用了

已定时 已固定 已锁定 已移动 随便聊聊
本地模型sg-langhermes
27 帖子 8 发布者 314 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT
    terryT
    terry
    超级版主
    编写于 最后由 编辑
    #2

    我哥就干聊啊.....研究好了没,我马上准备去北京投奔你。保安,保洁,保姆都行。

    油管:https://www.youtube.com/@抡锤者

    1 条回复 最后回复
    1
    • Tony WangT
      Tony WangT
      Tony Wang
      超级版主
      编写于 最后由 Tony Wang 编辑
      #3

      @terry

      理论与实践相结合, 实战案例:

      五马分工

      1 条回复 最后回复
      0
      • kop wangK
        kop wangK
        kop wang
        超级版主
        编写于 最后由 kop wang 编辑
        #4

        可以试试strata,RAM够大的话,体验要比sglang+27B-nvfp4要好。
        prefill更稳,decode更快,智力更强,多会话缓存能力还更好。

        虚心交流,一起进步

        terryT fcmeF 2 条回复 最后回复
        1
        • rock shiR
          rock shiR
          rock shi
          德高望重 劳动模范
          编写于 最后由 编辑
          #5

          同感!今天刚刚跟朋友在聊,strata的出现真的觉得基础设施基本不再是问题。问题是如何落地了

          主机:GPU0-3080 20g(H3),GPU1-3080 20g(Zimage)
          副机:2x2080ti 22g,strata qwen3.8 next Flash iq3_s

          1 条回复 最后回复
          0
          • kop wangK kop wang

            可以试试strata,RAM够大的话,体验要比sglang+27B-nvfp4要好。
            prefill更稳,decode更快,智力更强,多会话缓存能力还更好。

            terryT
            terryT
            terry
            超级版主
            编写于 最后由 编辑
            #6

            @kop-wang 我哥的装备非常适合跑strata,但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活,你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价,不值得。

            油管:https://www.youtube.com/@抡锤者

            kop wangK kos orK 2 条回复 最后回复
            1
            • Tony WangT
              Tony WangT
              Tony Wang
              超级版主
              编写于 最后由 编辑
              #7

              我想等 strata NVFP4 版本成熟之后, 再试一下.

              1 条回复 最后回复
              0
              • terryT terry

                @kop-wang 我哥的装备非常适合跑strata,但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活,你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价,不值得。

                kop wangK
                kop wangK
                kop wang
                超级版主
                编写于 最后由 编辑
                #8

                @terry 确实,适合自己生产场景的就是最好的。

                我是图、视频创作就用线上(也是废话,没显存同时做),其他目前都主攻strata自部署。省钱的同时也顺便做测试。

                虚心交流,一起进步

                1 条回复 最后回复
                1
                • terryT terry

                  @kop-wang 我哥的装备非常适合跑strata,但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活,你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价,不值得。

                  kos orK
                  kos orK
                  kos or
                  超凡大师
                  编写于 最后由 编辑
                  #9

                  @terry said:

                  或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活

                  請問錘大,要怎麼讓Hermes 指揮DSH網頁版或App版呢 ?
                  我都沒設置成功 😢 目前只能讓 Hermes 指揮Codex CLI 而已

                  fcmeF 1 条回复 最后回复
                  0
                  • kop wangK kop wang

                    可以试试strata,RAM够大的话,体验要比sglang+27B-nvfp4要好。
                    prefill更稳,decode更快,智力更强,多会话缓存能力还更好。

                    fcmeF
                    fcmeF
                    fcme
                    超凡大师
                    编写于 最后由 编辑
                    #10

                    @kop-wang
                    Next flash确实体感是要强一点,但是速度来讲还是27b快。另外,next复莱史还有一个很大优点,我之前都没注意到,这玩儿跑起来显卡负载比较低,只有100多瓦。然后比较省电。😂😂😂

                    1 条回复 最后回复
                    0
                    • Tony WangT
                      Tony WangT
                      Tony Wang
                      超级版主
                      编写于 最后由 Tony Wang 编辑
                      #11

                      @kos-or

                      我有个经验, 写个小黑板.

                      在文件系统, 或者email, 或者你的vps上, 建立一个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                      用CLI当然可以, 但是我总觉得心理不踏实, 用MCP网关又觉得太重.

                      kos orK 1 条回复 最后回复
                      0
                      • kos orK kos or

                        @terry said:

                        或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手,指挥DSH+Qwen27B干活

                        請問錘大,要怎麼讓Hermes 指揮DSH網頁版或App版呢 ?
                        我都沒設置成功 😢 目前只能讓 Hermes 指揮Codex CLI 而已

                        fcmeF
                        fcmeF
                        fcme
                        超凡大师
                        编写于 最后由 编辑
                        #12

                        @kos-or
                        让Hermes指挥dsh感觉有一种脱屁子放库的感觉,哈哈。

                        因为dsh本身就是一个更优秀的框架,Hermes如果搭配本地模型跑的话还是太慢了,而且Hermes呃它最大的优点用下来其实也是最大的缺点,它那个各种技能啊,各种文件野蛮生长,你要不维护的话,就很容易跑偏,而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。

                        kop wangK kos orK 2 条回复 最后回复
                        0
                        • fcmeF fcme

                          @kos-or
                          让Hermes指挥dsh感觉有一种脱屁子放库的感觉,哈哈。

                          因为dsh本身就是一个更优秀的框架,Hermes如果搭配本地模型跑的话还是太慢了,而且Hermes呃它最大的优点用下来其实也是最大的缺点,它那个各种技能啊,各种文件野蛮生长,你要不维护的话,就很容易跑偏,而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。

                          kop wangK
                          kop wangK
                          kop wang
                          超级版主
                          编写于 最后由 编辑
                          #13

                          @fcme “而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。”

                          确实,hermes目前的问题其实有点尴尬。要自学习、自进化,就得增加不确定性。
                          但是如果加强确定性,自身的核心卖点又要被削弱。

                          有点按下葫芦起了瓢的感觉。

                          虚心交流,一起进步

                          fcmeF 1 条回复 最后回复
                          0
                          • kop wangK kop wang

                            @fcme “而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。”

                            确实,hermes目前的问题其实有点尴尬。要自学习、自进化,就得增加不确定性。
                            但是如果加强确定性,自身的核心卖点又要被削弱。

                            有点按下葫芦起了瓢的感觉。

                            fcmeF
                            fcmeF
                            fcme
                            超凡大师
                            编写于 最后由 编辑
                            #14

                            @kop-wang
                            所以这个东西呢新手小白一用起来感觉哇,这也行,那也行,好美,但是用时间长了就感觉嗯有点怪怪的。

                            用dsh实际上也可以达到类似的效果,而且更明确就是你需要让他记住什么或者说创建什么技能的时候告诉他就行了。

                            其实我觉得两个功能上来讲没有太大的区别,但是dsh整体上用起来确实是快,体感就是会好很多,不像赫米斯那么的重,那么黏糊。

                            1 条回复 最后回复
                            0
                            • Tony WangT Tony Wang

                              @kos-or

                              我有个经验, 写个小黑板.

                              在文件系统, 或者email, 或者你的vps上, 建立一个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                              用CLI当然可以, 但是我总觉得心理不踏实, 用MCP网关又觉得太重.

                              kos orK
                              kos orK
                              kos or
                              超凡大师
                              编写于 最后由 编辑
                              #15

                              @Tony-Wang said:

                              有个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                              Hermes 內部有一個Kanban工具類似小黑板和A2A內部溝通工具,我最近整合了Kanban + A2A 跨Hermes Agents協作系統(agent 操作規定),讓兩個主Hermes Agent可以協作完成同一個任務; 不過還沒跑過測試 不知道效益如何 @@

                              應該是可以加入 Deepseek Harness到Kanban 小黑板內的,負責任務領取和回報

                              Tony WangT 1 条回复 最后回复
                              0
                              • Tony WangT
                                Tony WangT
                                Tony Wang
                                超级版主
                                编写于 最后由 Tony Wang 编辑
                                #16

                                @fcme @kop-wang

                                这是个两难. 不过Hermes的好处就是, 用久了, 都不用废话, 比如, 我说: "新扫描件, 归档"

                                它会:
                                1, 去我的Documents, Downloads, Desktop 中去找最新的扫描件
                                2, ocr , 偶尔还会调用vision
                                3, 根据内容和我的规则改名
                                4, 归档到我的obsidian相应的位置, 或者我专门的文件系统中
                                5, 在我的obsidian日记中记录一笔
                                6, 清理掉它自己的过程文件, 比如有时候ocr它觉得不通顺的时候, 它会调用27B的vision截图再看.
                                7, 清理掉我的原文件

                                这一系列, 就是我说 "新扫描件, 归档" , 之后发生的一切. 基本正确率100%

                                kop wangK 1 条回复 最后回复
                                0
                                • kos orK kos or

                                  @Tony-Wang said:

                                  有个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

                                  Hermes 內部有一個Kanban工具類似小黑板和A2A內部溝通工具,我最近整合了Kanban + A2A 跨Hermes Agents協作系統(agent 操作規定),讓兩個主Hermes Agent可以協作完成同一個任務; 不過還沒跑過測試 不知道效益如何 @@

                                  應該是可以加入 Deepseek Harness到Kanban 小黑板內的,負責任務領取和回報

                                  Tony WangT
                                  Tony WangT
                                  Tony Wang
                                  超级版主
                                  编写于 最后由 编辑
                                  #17

                                  @kos-or

                                  kanban是hermes内部的, 而且kanban基本上不用我们维护, 它主要是排布一个任务的routing的. 当然我们可以手动去排布它.

                                  你如果让其他Agent去动Hermes的看板的话, 我感觉还是有点儿问题.

                                  kos orK 1 条回复 最后回复
                                  0
                                  • fcmeF fcme

                                    @kos-or
                                    让Hermes指挥dsh感觉有一种脱屁子放库的感觉,哈哈。

                                    因为dsh本身就是一个更优秀的框架,Hermes如果搭配本地模型跑的话还是太慢了,而且Hermes呃它最大的优点用下来其实也是最大的缺点,它那个各种技能啊,各种文件野蛮生长,你要不维护的话,就很容易跑偏,而且这个东西积累的多了以后,你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。

                                    kos orK
                                    kos orK
                                    kos or
                                    超凡大师
                                    编写于 最后由 编辑
                                    #18

                                    @fcme said:

                                    让Hermes指挥dsh感觉有一种脱屁子放库的感觉

                                    主要是因為使用者介面的關係,用久了習慣了UI和Hermes內部基本系統,
                                    而且手機上用 Telegram操控Hermes 方便 當Agent入口用

                                    DSH可能有手機版,我還沒找過 @@

                                    fcmeF 1 条回复 最后回复
                                    0
                                    • Tony WangT Tony Wang

                                      @fcme @kop-wang

                                      这是个两难. 不过Hermes的好处就是, 用久了, 都不用废话, 比如, 我说: "新扫描件, 归档"

                                      它会:
                                      1, 去我的Documents, Downloads, Desktop 中去找最新的扫描件
                                      2, ocr , 偶尔还会调用vision
                                      3, 根据内容和我的规则改名
                                      4, 归档到我的obsidian相应的位置, 或者我专门的文件系统中
                                      5, 在我的obsidian日记中记录一笔
                                      6, 清理掉它自己的过程文件, 比如有时候ocr它觉得不通顺的时候, 它会调用27B的vision截图再看.
                                      7, 清理掉我的原文件

                                      这一系列, 就是我说 "新扫描件, 归档" , 之后发生的一切. 基本正确率100%

                                      kop wangK
                                      kop wangK
                                      kop wang
                                      超级版主
                                      编写于 最后由 编辑
                                      #19

                                      @Tony-Wang 这个相当于就是再繁复且不断积累的信息总量和误差,与模型更高的智力与统计学能力之间的此消彼长。

                                      hermes目前的这个状态也算是这个时代独有的行为艺术了。

                                      虚心交流,一起进步

                                      1 条回复 最后回复
                                      0
                                      • Tony WangT
                                        Tony WangT
                                        Tony Wang
                                        超级版主
                                        编写于 最后由 编辑
                                        #20

                                        我最近使用 muse.ai , 感觉也非常不错.
                                        调教得非常好, 简单易用. tool use 很惊艳, 帮我填写了不少在线表格了, 尤其是英文的.

                                        Hermes当然也能做, 但是费劲得多.

                                        johnnybegoodJ 1 条回复 最后回复
                                        0
                                        • kos orK kos or

                                          @fcme said:

                                          让Hermes指挥dsh感觉有一种脱屁子放库的感觉

                                          主要是因為使用者介面的關係,用久了習慣了UI和Hermes內部基本系統,
                                          而且手機上用 Telegram操控Hermes 方便 當Agent入口用

                                          DSH可能有手機版,我還沒找過 @@

                                          fcmeF
                                          fcmeF
                                          fcme
                                          超凡大师
                                          编写于 最后由 编辑
                                          #21

                                          @kos-or
                                          设置个反代理,在网页使用就可以。其实dsh也可以接Telegram的

                                          1 条回复 最后回复
                                          1

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组