<![CDATA[拐点临近 - 基础设施够用了]]>今年以来，我一直在折腾本地AI的路上，不断升级硬件，试验新框架，新工具… 我知道 工欲善其事，必先利其器的道理。但是我也在问自己：利器和善事的平衡点在哪里？它们又该如何互相促进？

对于AI这个凶器，我整理了一个三层模型，跟大家分享一下：

  • 第一层：基础设施层——"把模型跑起来"
    硬件、框架和模型。理想状态是从需求倒推配置，不过只对土豪适用。找到适合自己的，CP值高的解决方案。这也是我们论坛现在的主力方向。

  • 第二层：能力方法层——"把事情做起来"
    工作方法，工作流设计，工具选择与调优。这是"善用"的技术载体。

  • 第三层：价值实现层——"解决真问题"
    提升工作效率，做研究、做视频、怎么用AI赚钱，以及"哪种需求对应哪种解决方案"。这层直接对应效率和钱，是真正的价值体现。

这三层是互相促进的——没有第一层，后面都是空中楼阁。但前两层是成本，第三层是收益，折腾的终点在第三层。

说回我自己。我当初部署本地AI，有三个目的：

  • 好奇、别掉队；
  • 帮我学习研究（哲学、历史、英语、音乐）；
  • 提升日常工作效率

最近我有个挺深的感触：AI对我来说，已经从"玩具"变成了"工具"，这三个目的，已经在实现的路上。
这个转变不是某一个单项的功劳，而是一个"混合成熟"的时刻：

  • 线下工具：SGLang + Qwen27B NVFP4 + Hermes (DSH练手中)
  • 线上工具：ChatGPT plus订阅 + DeepSeek API + Muse AI
  • 学习与分享：这里重点表扬 @terry ，给大家开辟了一个学习交流的乐园，包括但不限于…

依托这套线上线下的组合，对我来说，"够用"的拐点已经到了。接下来，我应该重点打磨能力方法层和价值实现层。而不是过于沉浸在基础设施层的不断完善上。
也希望大家能够更多分享自己在第二第三层面的经验和心得。

]]>https://lcz.me/topic/2206RSS for NodeMon, 12 Oct 2026 13:29:03 GMTFri, 09 Oct 2026 05:15:53 GMT60<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Sat, 10 Oct 2026 05:36:24 GMT]]>确实，之前一直在折腾如何调优27B，尝试各种量化，各种参数，让27B跑得更稳更快，但是STRATA一出来，像是一下子就解开了所有禁锢，也许多台机器协作的情况应该还是老特说的框架更高效，但是个人使用只有一张显卡的情况下，还是STRATA强太多了，稍微担心的是好像QWEN3.8 FLASH的开源协议和27B还不一样
我自己打算是用一台跑STRATA的HERMES来指挥另外一台配27B的DSH来干活，就算是同模型，DSH能力强，但是太死板了

]]>https://lcz.me/post/23695https://lcz.me/post/23695Sat, 10 Oct 2026 05:36:24 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 11:14:07 GMT]]>@johnnybegood
这倒是个问题，我是非it人士，主要用它来协助我的工程师工作。有时候需要读大量的文档，人工读的话也比较容易漏掉关键信息。刚一开始是让AI读，然后让他给我总结并给出出处，然后一条一条核对。效率真的很高很多，有时候以前可能半天甚至一天的工作，基本上一两个小时就完成了，剩下的时间可以划水。

]]>https://lcz.me/post/23563https://lcz.me/post/23563Fri, 09 Oct 2026 11:14:07 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 09:38:22 GMT]]>hemes或者dsh, 配合插件等, 能完成.

但是muse很简单, 完全傻瓜式操作, 基本不用你去配置什么东西.

而且它的设计思想就是一个主聊天. 也没有什么project之类的东西. 可以有旁聊, 但是基本上一个聊天包打天下.

所以现在很火, 各大厂都在抄. Hermes和DSH是给专业人用的. Muse是给小白用的.

我预计tokens的费用, 过一段还得涨价. 因为普通人杀进来了, 之前普通人只是聊天而已. 现在他们能用傻瓜式的AI Agent了.

]]>https://lcz.me/post/23537https://lcz.me/post/23537Fri, 09 Oct 2026 09:38:22 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 09:25:25 GMT]]>@Tony-Wang 我还没有用muse， 不太懂哈， hermes或者 dsh+插件,不能完成muse.ai的工作么？ 具体区别是什么呢？

]]>https://lcz.me/post/23532https://lcz.me/post/23532Fri, 09 Oct 2026 09:25:25 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 09:18:48 GMT]]>说实话， 我感觉自己好空虚， 就算我的AI能跑到 1000tok/s ， 我都不知道可以做什么。。。

]]>https://lcz.me/post/23528https://lcz.me/post/23528Fri, 09 Oct 2026 09:18:48 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 08:47:06 GMT]]>

@Tony-Wang said:

你如果让其他Agent去动Hermes的看板的话, 我感觉还是有点儿问题

系統真複雜, 我真佩服agent在複雜的內文中 還能搞得懂要做什麼 😂
我都快懶得看它安排的計畫了 - cognitive fatigue (有時候還不見得看得懂)
直接okay, approved => Enter

]]>https://lcz.me/post/23518https://lcz.me/post/23518Fri, 09 Oct 2026 08:47:06 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 07:20:59 GMT]]>@kos-or
设置个反代理，在网页使用就可以。其实dsh也可以接Telegram的

]]>https://lcz.me/post/23498https://lcz.me/post/23498Fri, 09 Oct 2026 07:20:59 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 07:19:10 GMT]]>我最近使用 muse.ai , 感觉也非常不错.
调教得非常好, 简单易用. tool use 很惊艳, 帮我填写了不少在线表格了, 尤其是英文的.

Hermes当然也能做, 但是费劲得多.

]]>https://lcz.me/post/23497https://lcz.me/post/23497Fri, 09 Oct 2026 07:19:10 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 07:17:06 GMT]]>@Tony-Wang 这个相当于就是再繁复且不断积累的信息总量和误差，与模型更高的智力与统计学能力之间的此消彼长。

hermes目前的这个状态也算是这个时代独有的行为艺术了。

]]>https://lcz.me/post/23496https://lcz.me/post/23496Fri, 09 Oct 2026 07:17:06 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 07:13:57 GMT]]>

@fcme said:

让Hermes指挥dsh感觉有一种脱屁子放库的感觉

主要是因為使用者介面的關係，用久了習慣了UI和Hermes內部基本系統，
而且手機上用 Telegram操控Hermes 方便 當Agent入口用

DSH可能有手機版，我還沒找過 @@

]]>https://lcz.me/post/23494https://lcz.me/post/23494Fri, 09 Oct 2026 07:13:57 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 07:12:51 GMT]]>@kos-or

kanban是hermes内部的, 而且kanban基本上不用我们维护, 它主要是排布一个任务的routing的. 当然我们可以手动去排布它.

你如果让其他Agent去动Hermes的看板的话, 我感觉还是有点儿问题.

]]>https://lcz.me/post/23493https://lcz.me/post/23493Fri, 09 Oct 2026 07:12:51 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 07:10:21 GMT]]>@fcme @kop-wang

这是个两难. 不过Hermes的好处就是, 用久了, 都不用废话, 比如, 我说: "新扫描件, 归档"

它会:
1, 去我的Documents, Downloads, Desktop 中去找最新的扫描件
2, ocr , 偶尔还会调用vision
3, 根据内容和我的规则改名
4, 归档到我的obsidian相应的位置, 或者我专门的文件系统中
5, 在我的obsidian日记中记录一笔
6, 清理掉它自己的过程文件, 比如有时候ocr它觉得不通顺的时候, 它会调用27B的vision截图再看.
7, 清理掉我的原文件

这一系列, 就是我说 "新扫描件, 归档" , 之后发生的一切. 基本正确率100%

]]>https://lcz.me/post/23490https://lcz.me/post/23490Fri, 09 Oct 2026 07:10:21 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 07:08:09 GMT]]>

@Tony-Wang said:

有个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

Hermes 內部有一個Kanban工具類似小黑板和A2A內部溝通工具，我最近整合了Kanban + A2A 跨Hermes Agents協作系統(agent 操作規定)，讓兩個主Hermes Agent可以協作完成同一個任務; 不過還沒跑過測試 不知道效益如何 @@

應該是可以加入 Deepseek Harness到Kanban 小黑板內的，負責任務領取和回報

]]>https://lcz.me/post/23488https://lcz.me/post/23488Fri, 09 Oct 2026 07:08:09 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 07:06:20 GMT]]>@kop-wang
所以这个东西呢新手小白一用起来感觉哇，这也行，那也行，好美，但是用时间长了就感觉嗯有点怪怪的。

用dsh实际上也可以达到类似的效果，而且更明确就是你需要让他记住什么或者说创建什么技能的时候告诉他就行了。

其实我觉得两个功能上来讲没有太大的区别，但是dsh整体上用起来确实是快，体感就是会好很多，不像赫米斯那么的重，那么黏糊。

]]>https://lcz.me/post/23487https://lcz.me/post/23487Fri, 09 Oct 2026 07:06:20 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 07:02:06 GMT]]>@fcme “而且这个东西积累的多了以后，你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。”

确实，hermes目前的问题其实有点尴尬。要自学习、自进化，就得增加不确定性。
但是如果加强确定性，自身的核心卖点又要被削弱。

有点按下葫芦起了瓢的感觉。

]]>https://lcz.me/post/23486https://lcz.me/post/23486Fri, 09 Oct 2026 07:02:06 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 06:58:46 GMT]]>@kos-or
让Hermes指挥dsh感觉有一种脱屁子放库的感觉，哈哈。

因为dsh本身就是一个更优秀的框架，Hermes如果搭配本地模型跑的话还是太慢了，而且Hermes呃它最大的优点用下来其实也是最大的缺点，它那个各种技能啊，各种文件野蛮生长，你要不维护的话，就很容易跑偏，而且这个东西积累的多了以后，你都不知道你的赫米斯到底是个什么状态。就是维护赫米斯的成本其实是有点高的。我指的是时间成本。

]]>https://lcz.me/post/23483https://lcz.me/post/23483Fri, 09 Oct 2026 06:58:46 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 07:03:18 GMT]]>@kos-or

我有个经验, 写个小黑板.

在文件系统, 或者email, 或者你的vps上, 建立一个 多Agent共用的共享区域, 他们只能写自己的文件, 但是可以看别人的, 就互相可以留言, 每几分钟查一下. 类似于一个MCP的网关.

用CLI当然可以, 但是我总觉得心理不踏实, 用MCP网关又觉得太重.

]]>https://lcz.me/post/23480https://lcz.me/post/23480Fri, 09 Oct 2026 07:03:18 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 06:56:23 GMT]]>@kop-wang
Next flash确实体感是要强一点，但是速度来讲还是27b快。另外，next复莱史还有一个很大优点，我之前都没注意到，这玩儿跑起来显卡负载比较低，只有100多瓦。然后比较省电。😂😂😂

]]>https://lcz.me/post/23479https://lcz.me/post/23479Fri, 09 Oct 2026 06:56:23 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 06:47:10 GMT]]>

@terry said:

或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手，指挥DSH+Qwen27B干活

請問錘大，要怎麼讓Hermes 指揮DSH網頁版或App版呢 ?
我都沒設置成功 😢 目前只能讓 Hermes 指揮Codex CLI 而已

]]>https://lcz.me/post/23472https://lcz.me/post/23472Fri, 09 Oct 2026 06:47:10 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 06:26:45 GMT]]>@terry 确实，适合自己生产场景的就是最好的。

我是图、视频创作就用线上（也是废话，没显存同时做），其他目前都主攻strata自部署。省钱的同时也顺便做测试。

]]>https://lcz.me/post/23458https://lcz.me/post/23458Fri, 09 Oct 2026 06:26:45 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 06:24:21 GMT]]>我想等 strata NVFP4 版本成熟之后, 再试一下.

]]>https://lcz.me/post/23457https://lcz.me/post/23457Fri, 09 Oct 2026 06:24:21 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 06:19:13 GMT]]>@kop-wang 我哥的装备非常适合跑strata，但我觉得多并发还是SGLang+ 27B更好。或者最好的状态是Hermes+DeepSeek V4.1 Flash作为助手，指挥DSH+Qwen27B干活，你们可以尝试下。Strata+Qwen Flash带来的收益比起付出的硬件代价，不值得。

]]>https://lcz.me/post/23451https://lcz.me/post/23451Fri, 09 Oct 2026 06:19:13 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 06:18:33 GMT]]>同感！今天刚刚跟朋友在聊，strata的出现真的觉得基础设施基本不再是问题。问题是如何落地了

]]>https://lcz.me/post/23450https://lcz.me/post/23450Fri, 09 Oct 2026 06:18:33 GMT<![CDATA[Reply to 拐点临近 - 基础设施够用了 on Fri, 09 Oct 2026 06:14:53 GMT]]>可以试试strata，RAM够大的话，体验要比sglang+27B-nvfp4要好。
prefill更稳，decode更快，智力更强，多会话缓存能力还更好。

]]>https://lcz.me/post/23447https://lcz.me/post/23447Fri, 09 Oct 2026 06:14:53 GMT