拐点临近 - 基础设施够用了
-
今年以来，我一直在折腾本地AI的路上，不断升级硬件，试验新框架，新工具… 我知道 工欲善其事，必先利其器的道理。但是我也在问自己：利器和善事的平衡点在哪里？它们又该如何互相促进？
对于AI这个凶器，我整理了一个三层模型，跟大家分享一下：
-
第一层：基础设施层——"把模型跑起来"
硬件、框架和模型。理想状态是从需求倒推配置，不过只对土豪适用。找到适合自己的，CP值高的解决方案。这也是我们论坛现在的主力方向。 -
第二层：能力方法层——"把事情做起来"
工作方法，工作流设计，工具选择与调优。这是"善用"的技术载体。 -
第三层：价值实现层——"解决真问题"
提升工作效率，做研究、做视频、怎么用AI赚钱，以及"哪种需求对应哪种解决方案"。这层直接对应效率和钱，是真正的价值体现。
这三层是互相促进的——没有第一层，后面都是空中楼阁。但前两层是成本，第三层是收益，折腾的终点在第三层。
说回我自己。我当初部署本地AI，有三个目的：
- 好奇、别掉队；
- 帮我学习研究（哲学、历史、英语、音乐）；
- 提升日常工作效率
最近我有个挺深的感触：AI对我来说，已经从"玩具"变成了"工具"，这三个目的，已经在实现的路上。
这个转变不是某一个单项的功劳，而是一个"混合成熟"的时刻：- 线下工具：SGLang + Qwen27B NVFP4 + Hermes (DSH练手中)
- 线上工具：ChatGPT plus订阅 + DeepSeek API + Muse AI
- 学习与分享：这里重点表扬 @terry ，给大家开辟了一个学习交流的乐园，包括但不限于…
依托这套线上线下的组合，对我来说，"够用"的拐点已经到了。接下来，我应该重点打磨能力方法层和价值实现层。而不是过于沉浸在基础设施层的不断完善上。
也希望大家能够更多分享自己在第二第三层面的经验和心得。 -
-
-
-
-
-
-
-
@kop-wang 我哥的装备非常适合跑strata，但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手，指挥DSH+Qwen27B干活，你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价，不值得。
-
@kop-wang 我哥的装备非常适合跑strata，但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手，指挥DSH+Qwen27B干活，你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价，不值得。
-
-
-
-
@kos-or
让Hermes指挥dsh感觉有一种脱屁子放库的感觉，哈哈。因为dsh本身就是一个更优秀的框架，Hermes如果搭配本地模型跑的话还是太慢了，而且Hermes呃它最大的优点用下来其实也是最大的缺点，它那个各种技能啊，各种文件野蛮生长，你要不维护的话，就很容易跑偏，而且这个东西积累的多了以后，你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。
-
@fcme “而且这个东西积累的多了以后，你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。”
确实，hermes目前的问题其实有点尴尬。要自学习、自进化，就得增加不确定性。
但是如果加强确定性，自身的核心卖点又要被削弱。有点按下葫芦起了瓢的感觉。
-
我有个经验, 写个小黑板.
在文件系统, 或者email, 或者你的vps上, 建立一个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.
用CLI当然可以, 但是我总觉得心理不踏实, 用MCP网关又觉得太重.
有个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.
Hermes 內部有一個Kanban工具類似小黑板和A2A內部溝通工具，我最近整合了Kanban + A2A 跨Hermes Agents協作系統(agent 操作規定)，讓兩個主Hermes Agent可以協作完成同一個任務; 不過還沒跑過測試 不知道效益如何 @@
應該是可以加入 Deepseek Harness到Kanban 小黑板內的，負責任務領取和回報
-
这是个两难. 不过Hermes的好处就是, 用久了, 都不用废话, 比如, 我说: "新扫描件, 归档"
它会:
1, 去我的Documents, Downloads, Desktop 中去找最新的扫描件
2, ocr , 偶尔还会调用vision
3, 根据内容和我的规则改名
4, 归档到我的obsidian相应的位置, 或者我专门的文件系统中
5, 在我的obsidian日记中记录一笔
6, 清理掉它自己的过程文件, 比如有时候ocr它觉得不通顺的时候, 它会调用27B的vision截图再看.
7, 清理掉我的原文件这一系列, 就是我说 "新扫描件, 归档" , 之后发生的一切. 基本正确率100%
-
有个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.
Hermes 內部有一個Kanban工具類似小黑板和A2A內部溝通工具，我最近整合了Kanban + A2A 跨Hermes Agents協作系統(agent 操作規定)，讓兩個主Hermes Agent可以協作完成同一個任務; 不過還沒跑過測試 不知道效益如何 @@
應該是可以加入 Deepseek Harness到Kanban 小黑板內的，負責任務領取和回報
-
@kos-or
让Hermes指挥dsh感觉有一种脱屁子放库的感觉，哈哈。因为dsh本身就是一个更优秀的框架，Hermes如果搭配本地模型跑的话还是太慢了，而且Hermes呃它最大的优点用下来其实也是最大的缺点，它那个各种技能啊，各种文件野蛮生长，你要不维护的话，就很容易跑偏，而且这个东西积累的多了以后，你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。
-
这是个两难. 不过Hermes的好处就是, 用久了, 都不用废话, 比如, 我说: "新扫描件, 归档"
它会:
1, 去我的Documents, Downloads, Desktop 中去找最新的扫描件
2, ocr , 偶尔还会调用vision
3, 根据内容和我的规则改名
4, 归档到我的obsidian相应的位置, 或者我专门的文件系统中
5, 在我的obsidian日记中记录一笔
6, 清理掉它自己的过程文件, 比如有时候ocr它觉得不通顺的时候, 它会调用27B的vision截图再看.
7, 清理掉我的原文件这一系列, 就是我说 "新扫描件, 归档" , 之后发生的一切. 基本正确率100%
-
目前只能讓 Hermes 指揮Codex CLI 而已
