闲唠一下关于玩本地LLM和在线前沿模型。
-
本地AI玩了快两个月了，某一刻：我突然发现，和LLM或者是HERMES聊天，或者是让LLM担任AGENT，用IDE让它跑编程任务，本质上是一个工程问题，也是一个人机协同，思维同步的问题。 而不能像跟阿拉丁神灯许愿一样，期望模糊的打几个字。对面的AI就能像阿拉丁神灯一样，又快又好的回答你，或者瞬间帮你实现你要的结果。 能做到前者的，目前可能只有豆包，情绪价值拉满，但是可能答案和真实情况千差万别，能做到后者的，可能只有claude code 20X MAX套餐。 能同时做到两者的，趁早洗洗睡，梦里面肯定有。不过落到实际的话，我目前努力的方向还是，怎样实现人机思维链的快速同步，目前给我感受最好的，也只有hermes了，目前策略是，开两个窗口，一个选 本地QWEN 3.6 27B，省TOKEN，智能思考。少于30字符的问题基本秒回（我有让它配置一个闲聊模式，不要发太重的SYSTEM PROMPT给LLM）。
另一个窗口，连接DEEPSEEK PRO，有编程任务 ，或者是本地配置任务 ，我都在里面跑，上下文量大管饱，最近华为显卡跟上了，也不会卡顿了。
不管哪个窗口，上下文满了，发送指令让它更新或总结记忆，然后/new重建session，接着爽聊。
其实看看现在的在线聊天AI，KIMI，千问，智谱，豆包，gemini,他们一直也是有类似的设计，默认快速，手动可以 选深度思考或者联网，资本也在做成本的权衡。
而我们有本地LLM条件的，可以自己想更多办法，工程化的去实现，从而不用受资本的压榨，又能将个人资料牢牢攥在自己 手中，免受绿泡泡倒卖资料给购物网站的困扰。如此，实现人机的协同，让HERMES真正成为个人的 数字孪生，让它将目前时代的两个红利,QWEN 3.6 27B本地与DEEPSEEK PRO（或者claude code) 。通过不断与HERMES交互，将时代红利，个人现实，牢牢绑定。减轻个人负担，创造更多价值！
最后用清言的回答和HERMES的总结图，来结个贴：
