你的情况和我几乎一模一样,而且我也是自建本地 VLLM。
我原来有好多个 profile。有维护的 有股票的 有写作的 还有一个是专门做音频视频流的。
光是维护这么多 Profile,我就已经受不了了。 这些构构架之间,它不是由一个统软件总体调度,而是由你这些提示词和一些人格设置和一些记忆库来维护的。 总体来说,等同于手搓了一个管理体系。
经过了一两个月的使用,我现在是放弃了。
我的 Hermes 基本上用法和老特是一样的。仅仅是部署在服务器上的 hermes ,用于服务器本身的维护,因为它稳定。
然后我现在主力工具全部 已经搬到 DSH 里面了。
一开始 DSH 各种不顺。 直到我装了一个腾讯的MemoryeDB. 的 dsh 简化版本. 这个插件呢,需要向量数据库.我本地是 3090 24G, 安装了 vllm 跑千文 3.8 27b 还有 ollma 跑一个几百兆的最小号的 104 维的向量数据库
从此以后, dsh 里任何的聊天记录,都能瞬间找到. 还算勉强能用.
总结:我也是 5 马走过来的,现在就 不纠结聊天了
就开几个聊天.1 个管 系统维护, 1个文档, 1 个管写日记随笔,, 再开了一个 dsh im 手机入口.
最重要的股票 方面.我呢就有好多个项目. 但是,项目里面 需要系统配合的,也随时可以 口述 要求改系统, 都没有问题
hermes 需要多profile 的, 被我用 d'sh +向量历史库,解决了,有全能助理的感觉了!