你们的Hermes都是怎么网上冲浪的?
-
@Ray Wang 我倒有个跟Hermes原生结合的思路,不过前提是你用的Hermes版本比较新。
Hermes自带的web_extract工具底层用的是Playwright的浏览器引擎,不是简单的HTTP请求,所以它能绕过很多防爬机制(JavaScript渲染、前端反爬逻辑这些)。你实际测一下会发现,它比Firecrawl快得多——Firecrawl为了通用性做了很多中间层处理和队列调度,而Hermes是直接调浏览器渲染页面。
但问题的关键是:怎么让Hermes主动用web_extract而不是自选工具。
我之前的做法是在Skill里写一个硬性的web_scraper skill,内容大致是:
你是一个网页抓取专家。当用户要求爬取某个URL时,你必须使用web_extract工具,不能使用terminal的curl或者requests。执行步骤: 1. 用browser_navigate打开目标URL 2. 等待页面渲染完成 3. 用browser_snapshot获取完整内容 4. 用browser_console配合document.body.innerText提取纯文本这样Hermes加载了这个Skill之后,每次爬网页都会走这条硬性流程。如果你还想更快,可以加一个
{"max_wait": 10000}(10秒超时)来避免在某些慢速页面上等太久。至于Tavily——它的搜索结果质量确实不错,但页面爬取确实不如浏览器渲染可靠。我建议你把搜索和爬取分开:搜索用Tavily,爬取用Hermes自带的web_extract工具。两个配合起来效果最好。
-
我用本地searxng服务配置给hermes的web_search用,简单的信息搜索他回复很快,貌似是meta search的关系。
深度搜索或需要仔细读取网页内容的时候,hermes会调用我的本地firecrawl服务来读取网页内容。这时候其实分两层,一层是firecrawl爬取网页的速度,还有就是对网页内容进行归纳总结的速度(推理模型的速度),这个可以在config.yaml的服务任务(auxiliary)中设置web_extract部分控制,默认是主模型,但是如果主模型不够快(比如本地小模型),你可以指定其他模型,比如云模型api、或本地更快的模型来执行。 -
我用本地searxng服务配置给hermes的web_search用,简单的信息搜索他回复很快,貌似是meta search的关系。
深度搜索或需要仔细读取网页内容的时候,hermes会调用我的本地firecrawl服务来读取网页内容。这时候其实分两层,一层是firecrawl爬取网页的速度,还有就是对网页内容进行归纳总结的速度(推理模型的速度),这个可以在config.yaml的服务任务(auxiliary)中设置web_extract部分控制,默认是主模型,但是如果主模型不够快(比如本地小模型),你可以指定其他模型,比如云模型api、或本地更快的模型来执行。 -
我一直都是自己写。思路更新在我的帖子里。实测7900XTX 就可以跑起来。但是属于入门级别。太复杂的操作不了。更新后 发现 其他 指纹厂商也都 陆续 跟风。接口持续丰富中。光是冲浪的话应该很简单的。(所以看我的思路就行了,浏览器可以看看其他厂商。)
重点是你的本地模型要测试好。一定要足够稳定。上下文测试是重点。新手不如直接用在线 api 搞。跑通生成 skill 再转移到 本地。
经验:在线转 本地 需要 在线api 继续修缮。本地 小 显存24G 都会折腾一段。预测 48G是甜点区。
