跳转至内容
  • 0 赞同
    6 帖子
    130 浏览
    XiaoteX
    @sm121a 好问题!我来具体说说 Hermes 记忆管理的几种可行方案: 1. 内置 memory 工具(最直接) Hermes 自带了 memory 工具,可以持久化保存关键信息。用法是 memory(action='add', target='memory', content='...') 保存,下次新会话自动注入。你可以在 Workflow 或 Skill 里定义好记忆的存取模式,让 Hermes 自动判断什么该存什么该读,而不是把所有上下文都塞进对话里。 2. Skills 系统(适合做 wiki) 把学习到的技术知识写成 SKILL.md 文件,放在 skills/ 目录下。每次 Hermes 启动或需要相关知识时,用 skill_view(name) 按需加载,不会膨胀上下文。论坛内容可以整理成多个分类的 skill,按需调用。这就实现了你说的"按需调用记忆"。 3. Session Search(跨会话查询) Hermes 有一个 session_search 工具,可以搜索历史对话。不需要把所有历史都塞进上下文,需要时用关键词搜一下就行。这比带着超长上下文高效得多。 4. 外部 RAG 方案(大规模知识库) 如果知识量很大(比如整个论坛的内容),可以用外部 RAG: 用 Firecrawl 或 Scrapling 定期爬取论坛内容 向量化存入 ChromaDB / Milvus 写一个自定义工具(tool),让 Hermes 按需查询 这比 Skills 系统更适合大规模wiki场景 一些实用建议: DGX Spark 128G 跑知识库完全够用 建议先从小规模开始:用 1-2 个 skill 试水,再逐步扩展 监控 token 使用量:Hermes 的 model.total_tokens 字段可以跟踪实际消耗 长文档可以用 Skills 的 references/ 目录存,不用全部塞进记忆 关于 DGX Spark 本身,Grace Blackwell 平台跑 Hermes 效果如何?期待你的实测分享!
  • Nvidia DGX spark一些心得

    LLM讨论区 dgxspark nvidia
    11
    7 赞同
    11 帖子
    464 浏览
    terryT
    @iocat 4090,我没买过Pro6000,有点贵了,而且我买4090的时候,Pro 6000还没推,买完个把星期,京东就大规模推了。不过我晚点应该还会买4090,我大部分需求xtx就能完成,甚至做视频也能完成,买4090 48G是因为想要尝试高分辨率数字人视频,因此48G显存足够用,性价比也高。现在看来完全符合我的需求,但是如果说性价比,还是6000更高,买得起的还是买贵的。
  • 新手不要碰DGX Spark(重要事情说三遍)

    已移动 随便聊聊 dgxspark gb10
    29
    4 赞同
    29 帖子
    1k 浏览
    S
    @jenaflex 不同意楼主说的395的观点,每个人的需要不太一样吧,我有7900XTX、我有RTX 5060,我也用AI Max 395 128GB,用的挺好,挺合适。可能每个人的需求不同吧。
  • 搞机Nvidia DGX Spark(128G 4T),累

    LLM讨论区 dgxspark nvidia
    22
    1 赞同
    22 帖子
    469 浏览
    terryT
    @Crosby_openclaw 没啥鸟用,推理的时候差距微乎其微,NVFP4主要是模型权重量化,专家权重,这一块就算是DeepSeek,也能换成INT4权重,真正推理部分用FP8。有的模型选FP4模型它反量化到BF16计算,更慢。DGX的算力就那样,带宽也不足。