小白,折腾个hermes把我搞烦了
-
#3的帖看截图的上下文配置还是18688。hermes agent要求最低64000
推荐还是先接云API,比如deepseek-v4-flash,然后由他来指导驱动配置自己的模型,这样更省力。
-
对,我就是先装Hermes Agent,然后连上Deepseek v4 Pro,然后告诉他:你是一个技术大牛、电脑专家。然后就让它去安装各种软件、修电脑。我觉得太牛掰了。当年没有这种智能体的话。的话,不知道得请多少人才能弄好。现在这些软件问题直接一句自然语言,命令Hermes,它直接就给你修好了。它用的方法很多我们听都没听过,见都没见过。而且我们在线下找实体店那些人,100%没有他的水平高。
-
@gg-lib 你好,看了你的情况,核心问题是模型后端和 Hermes Agent 两侧的上下文配置需要匹配。你不要着急,一步步来:
-
确认模型后端的上下文设置
你用的后端(llama.cpp / vLLM / Ollama 等)在启动时也有一个--ctx-size或--num-context参数。如果你在后端只设了 2048/4096,Hermes 那头设 64000 也没用——后端会截断。比如 llama-server:
llama-server --ctx-size 64000 ...
vLLM:--max-model-len 64000 -
Hermes Agent 侧的上下文设置
如果你用的是 Hermes Agent 的 custom endpoint,编辑config.yaml,找到对应 provider 的max_tokens或context_length,设成 64000。 -
模型本身限制
你跑的模型本身也有最大上下文限制。如果是 Qwen 3.6 这种原生支持 128K 的模型,设 64000 完全没问题。如果是旧模型(比如 LLaMA 2),可能本身只支持 4096。 -
最简单的验证方法
先用 Ollama 跑模型(ollama 默认上下文就是 2048/4096,需要手动设),然后在 Hermes 里选 Ollama provider,看看是否还报错。如果 Ollama 都不行,说明是后端配置问题,不是 Hermes 的问题。
建议先截一张你模型后端的启动参数截图,或者贴一下你的 config.yaml(隐去 key),大家帮你看看。
-
-
@gg-lib 你好,看了你的情况,核心问题是模型后端和 Hermes Agent 两侧的上下文配置需要匹配。你不要着急,一步步来:
-
确认模型后端的上下文设置
你用的后端(llama.cpp / vLLM / Ollama 等)在启动时也有一个--ctx-size或--num-context参数。如果你在后端只设了 2048/4096,Hermes 那头设 64000 也没用——后端会截断。比如 llama-server:
llama-server --ctx-size 64000 ...
vLLM:--max-model-len 64000 -
Hermes Agent 侧的上下文设置
如果你用的是 Hermes Agent 的 custom endpoint,编辑config.yaml,找到对应 provider 的max_tokens或context_length,设成 64000。 -
模型本身限制
你跑的模型本身也有最大上下文限制。如果是 Qwen 3.6 这种原生支持 128K 的模型,设 64000 完全没问题。如果是旧模型(比如 LLaMA 2),可能本身只支持 4096。 -
最简单的验证方法
先用 Ollama 跑模型(ollama 默认上下文就是 2048/4096,需要手动设),然后在 Hermes 里选 Ollama provider,看看是否还报错。如果 Ollama 都不行,说明是后端配置问题,不是 Hermes 的问题。
建议先截一张你模型后端的启动参数截图,或者贴一下你的 config.yaml(隐去 key),大家帮你看看。
-
-
你这情况如果是入门,就不要折腾本地了,走DeepSeek V4 Flash,我视频说了很多次了,本地只有在你要执行长线任务,且有大量不重复的数据要处理时才有意义。另外35B A3B跑Hermes不如27B,你如果是熟悉,有功底,可以玩玩,新手完全不建议用。
-
文件: ~/.hermes/hermes-agent/agent/model_metadata.py
第130-131行 — 最小上下文限制(低于此拒绝)
MINIMUM_CONTEXT_LENGTH = 32_768改配置文件没用,最小上下文限制在源码中被硬编码了,改这个就可以了。我这是改过的,没改之前是64000。
-
对,我就是先装Hermes Agent,然后连上Deepseek v4 Pro,然后告诉他:你是一个技术大牛、电脑专家。然后就让它去安装各种软件、修电脑。我觉得太牛掰了。当年没有这种智能体的话。的话,不知道得请多少人才能弄好。现在这些软件问题直接一句自然语言,命令Hermes,它直接就给你修好了。它用的方法很多我们听都没听过,见都没见过。而且我们在线下找实体店那些人,100%没有他的水平高。
-
文件: ~/.hermes/hermes-agent/agent/model_metadata.py
第130-131行 — 最小上下文限制(低于此拒绝)
MINIMUM_CONTEXT_LENGTH = 32_768改配置文件没用,最小上下文限制在源码中被硬编码了,改这个就可以了。我这是改过的,没改之前是64000。
@naniandemeng 谢谢
我真的白的吓人,我找不到这个目录。你的方向是对的。 -
@gg-lib 先把赚钱放一边,热爱才是能够坚持的原动力。先把DeepSeek接进hermes,让他帮你折腾本地。我是花了不到20块钱,边学边做把本地都搞定了,现在本地稳定50t/s左右,响应体感跟DeepSeek持平
内网穿透了一台3060,跑起来感觉还好,就是进不了hermes的法眼,一直是错误提示上下文,我把改到64000也不行,。。

