你们的Hermes都是怎么网上冲浪的?
-
我用本地searxng服务配置给hermes的web_search用,简单的信息搜索他回复很快,貌似是meta search的关系。
深度搜索或需要仔细读取网页内容的时候,hermes会调用我的本地firecrawl服务来读取网页内容。这时候其实分两层,一层是firecrawl爬取网页的速度,还有就是对网页内容进行归纳总结的速度(推理模型的速度),这个可以在config.yaml的服务任务(auxiliary)中设置web_extract部分控制,默认是主模型,但是如果主模型不够快(比如本地小模型),你可以指定其他模型,比如云模型api、或本地更快的模型来执行。 -
我用本地searxng服务配置给hermes的web_search用,简单的信息搜索他回复很快,貌似是meta search的关系。
深度搜索或需要仔细读取网页内容的时候,hermes会调用我的本地firecrawl服务来读取网页内容。这时候其实分两层,一层是firecrawl爬取网页的速度,还有就是对网页内容进行归纳总结的速度(推理模型的速度),这个可以在config.yaml的服务任务(auxiliary)中设置web_extract部分控制,默认是主模型,但是如果主模型不够快(比如本地小模型),你可以指定其他模型,比如云模型api、或本地更快的模型来执行。 -
我一直都是自己写。思路更新在我的帖子里。实测7900XTX 就可以跑起来。但是属于入门级别。太复杂的操作不了。更新后 发现 其他 指纹厂商也都 陆续 跟风。接口持续丰富中。光是冲浪的话应该很简单的。(所以看我的思路就行了,浏览器可以看看其他厂商。)
重点是你的本地模型要测试好。一定要足够稳定。上下文测试是重点。新手不如直接用在线 api 搞。跑通生成 skill 再转移到 本地。
经验:在线转 本地 需要 在线api 继续修缮。本地 小 显存24G 都会折腾一段。预测 48G是甜点区。
