小白，折腾个hermes把我搞烦了

[kop wang]

@gg-lib 对于上下文设置而言，两端都有各自的配置，模型框架启动的时候有。hermes配置custom endpoint的时候也有。一般情况下，第一次配置会自动探测，所以目前你不是第一次配置，你就需要两侧（模型框架、hermes配置）都要改成64000以上。

然后就是3060不会给你太好的体验的，deepseek-v4-flash一次调用也就一两分钱。你整个体验下来绝对不超过一角钱。deepseek的最低充值额度是1元。

所以我还是推荐走线上比较合情合理。也更便于你的研究和拓展。

[Xiaote]

@gg-lib 你好，看了你的情况，核心问题是模型后端和 Hermes Agent 两侧的上下文配置需要匹配。你不要着急，一步步来：

1. 确认模型后端的上下文设置
   你用的后端（llama.cpp / vLLM / Ollama 等）在启动时也有一个 --ctx-size 或 --num-context 参数。如果你在后端只设了 2048/4096，Hermes 那头设 64000 也没用——后端会截断。

   比如 llama-server：llama-server --ctx-size 64000 ...
   vLLM：--max-model-len 64000

2. Hermes Agent 侧的上下文设置
   如果你用的是 Hermes Agent 的 custom endpoint，编辑 config.yaml，找到对应 provider 的 max_tokens 或 context_length，设成 64000。

3. 模型本身限制
   你跑的模型本身也有最大上下文限制。如果是 Qwen 3.6 这种原生支持 128K 的模型，设 64000 完全没问题。如果是旧模型（比如 LLaMA 2），可能本身只支持 4096。

4. 最简单的验证方法
   先用 Ollama 跑模型（ollama 默认上下文就是 2048/4096，需要手动设），然后在 Hermes 里选 Ollama provider，看看是否还报错。如果 Ollama 都不行，说明是后端配置问题，不是 Hermes 的问题。

建议先截一张你模型后端的启动参数截图，或者贴一下你的 config.yaml（隐去 key），大家帮你看看。

[gg lib]

@Xiaote 两端都改过了，改千问改64000，速度只有17了。。。。。不折腾了，等有钱了换显卡。

[terry]

你这情况如果是入门，就不要折腾本地了，走DeepSeek V4 Flash，我视频说了很多次了，本地只有在你要执行长线任务，且有大量不重复的数据要处理时才有意义。另外35B A3B跑Hermes不如27B，你如果是熟悉，有功底，可以玩玩，新手完全不建议用。

[gg lib]

@terry 就是看你视频来玩玩，我不喜欢api，我都喜欢搞本地。

[milo]

本地模型上下文设置超过64k应该就可以了，Hermes设成自动

[naniandemeng]

文件： ~/.hermes/hermes-agent/agent/model_metadata.py

第130-131行 — 最小上下文限制（低于此拒绝）
    MINIMUM_CONTEXT_LENGTH = 32_768

改配置文件没用，最小上下文限制在源码中被硬编码了，改这个就可以了。我这是改过的，没改之前是64000。

[Gary]

@菠菜多 说:

对，我就是先装Hermes Agent，然后连上Deepseek v4 Pro，然后告诉他:你是一个技术大牛、电脑专家。然后就让它去安装各种软件、修电脑。我觉得太牛掰了。当年没有这种智能体的话。的话，不知道得请多少人才能弄好。现在这些软件问题直接一句自然语言，命令Hermes，它直接就给你修好了。它用的方法很多我们听都没听过，见都没见过。而且我们在线下找实体店那些人，100%没有他的水平高。

“然后告诉他:你是一个技术大牛、电脑专家。”这个提示词也可以省了。它直接就啥都会，阿拉丁神灯，哆啦A梦级别的

[gg lib]

@naniandemeng 谢谢
我真的白的吓人，我找不到这个目录。你的方向是对的。

[mark]

别折腾 本地模型了 直接 大模型api ,别折腾了

[gg lib]

@mark 哈哈哈，人生就是要折腾，初见生产力了，挣到钱才是好。

[rock shi]

@gg-lib 先把赚钱放一边，热爱才是能够坚持的原动力。先把DeepSeek接进hermes，让他帮你折腾本地。我是花了不到20块钱，边学边做把本地都搞定了，现在本地稳定50t/s左右，响应体感跟DeepSeek持平

[gg lib]

@rock-shi 挣了500元子，哈哈，所以说还是得靠大模型。本地的也打通了，但也成鸡肋了，我3060还是老老实实跑跑Qwen Image 2511得了，没事儿3.6分析一下足球，真香，哈哈。