双3090，哪个qwen 3.8 模型才是最好的呢？

[kos or]

@stxpnet said:

我目前的情况是，配置了hindsight ,某些会话完成后，hindsight会疯狂调用 llm来进行记忆整理

我之前使用Highsight, 結果Docker上的記憶資料庫被Qwen3.6-27B無預警不小心刪除 就放棄使用

hermes + hindsight記憶使用效果好嗎？

[stxpnet]

刚刚跑起来，才不到10天的记忆，还看不出来：
偶尔进行一些任务的时候，HERMES会自动去调用 一些hs里面的记忆作为参考。

其实会话完成后，手动通知HERMES进行一下存储，占用一点算力也还能接受。反正空着也是空着，目前把并发数降低了，似乎没有之前那么卡了。

[kos or]

@neo said:

不过我不用主模型来运行记忆整理，而是用专门的EDGE模型来处理，因为这个必须用短小精悍的模型，建议用9B或14B。另外重排和向量模型也可以自定义模型而不是hindsight内置的

用一個小型的MoE模型 Q4_K_M來整理記憶不知道合適不？
只要語意理解能力夠高 應該不錯
突然想到TernaryBonsai-8B Q2

prism-ml/Ternary-Bonsai-8B-gguf
https://huggingface.co/prism-ml/Ternary-Bonsai-8B-gguf

[kos or]

當時使用Highsight 跑Qwen3.6-27B Dense 模型 好像每跑幾輪對話就會一直壓縮
顯卡就一直跑壓縮整理記憶,
假如有多的顯卡或免費API, 可以改其他API端點來進行記憶體整理 不要共用主模型就好 減少顯卡的運作壓力

[neo]

@kos-or TernaryBonsai-8B Q2 是个值得尝试的模型，要是成功了就进一步减轻显存压力了，我用的Qwen3.5-9B-IQ4-NL-MTP差不多需要8GB显存，你这个应该可以减少一半！主要还是看其语义理解和总结的质量是否能接受了。

[neo]

@kos-or 会一直压缩的情况主要是hermes的原因，其他agent不会，因为hermes有个background_review的背景程序，默认每个N轮会进行对话整理，而且硬编码为主模型运行。

[stxpnet]

目前配好了new api分流，压制hind sight优先级，已经不会再和主要工作流争抢显卡了

[neo]

[2024fatwolf55]

我也是双3090。对记忆系统，我的选择是：云端的一律不考虑，免费的API也可能在你某一天积累了大量记忆后收你的钱，你就不得不乖乖掏钱。去掉云端后，主要就是自托管的几个，包括mem0,Hind，hongcho。还考虑过reme（只使用MD文档），我还自己魔改过Mempalace，让Qwen3.6 Plus防facebook在10亿照片里找到类似照片的算法，写了一个搜索。最终是落在使用字节跳动开源的OpenViking上（我怀疑字节的豆包网页版之类，搞不好就是这个框架）。
OpenViking里面有多个LLM调用，官方推荐使用豆包模型。我用过豆包内置嵌入模型，后来发现这东西居然大量消耗我的豆包模型额度，直接改自托管了。
本来是丐版Mac上自托管，以本机LMStudio默认拉起BGE模型作为服务端，提供这个嵌入模型为OpenViking提供LLM服务。后来想起来局域网有一台12G的小主机，装了飞牛NAS，属于Debian系统。就让PI Agent把本机的OpenViking直接迁移到飞牛NAS上，PI迁移过去还比较平滑。
使用OpenViking我没遇到你这种集中”总结“的时刻，问Agent一些问题，它发现需要召回记忆的时候，会主动去OpenViking里翻。貌似效果还行。
OpenViking：https://github.com/volcengine/OpenViking

[2024fatwolf55]

补充：使用本地小模型压缩整理记录是可以的，其实也可以考虑使用Agnes免费API，作为兜底措施。