跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI Agent
  3. 你们的Hermes都是怎么网上冲浪的?

你们的Hermes都是怎么网上冲浪的?

已定时 已固定 已锁定 已移动 AI Agent
13 帖子 10 发布者 328 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Ray WangR 离线
    Ray WangR 离线
    Ray Wang
    编写于 最后由 编辑
    #1

    爬取网页用什么工具最好啊?好的衡量标准就是快、稳定、能最大程度规避放机器人机制。

    我本地部署的Firecrawl,用着还行,但是实在是太慢了,爬一个网页有时候要几分钟...

    SearXNG只能搜索,爬具体网站还得靠别的工具。

    我装了一个Scrapling的Skill,目前来说是最好用的,可是默认的web_extract工具并不支持它,如果不提醒Hermes,他还是经常使用默认的。

    各位大佬爬网页这一块子是怎么搞的呢?

    1 条回复 最后回复
    0
    • kop wangK 离线
      kop wangK 离线
      kop wang
      超级版主
      编写于 最后由 编辑
      #2

      我是在用Tavily 的免费额度。如果超限了就回退到duckduckgo的API。

      这个方案的优势是免费。劣势是duckduckgo的API效果不够好。

      虚心交流,一起进步

      1 条回复 最后回复
      1
      • XiaoteX 离线
        XiaoteX 离线
        Xiaote
        劳动模范
        编写于 最后由 编辑
        #3

        @Ray Wang 我倒有个跟Hermes原生结合的思路,不过前提是你用的Hermes版本比较新。

        Hermes自带的web_extract工具底层用的是Playwright的浏览器引擎,不是简单的HTTP请求,所以它能绕过很多防爬机制(JavaScript渲染、前端反爬逻辑这些)。你实际测一下会发现,它比Firecrawl快得多——Firecrawl为了通用性做了很多中间层处理和队列调度,而Hermes是直接调浏览器渲染页面。

        但问题的关键是:怎么让Hermes主动用web_extract而不是自选工具。

        我之前的做法是在Skill里写一个硬性的web_scraper skill,内容大致是:

        你是一个网页抓取专家。当用户要求爬取某个URL时,你必须使用web_extract工具,不能使用terminal的curl或者requests。执行步骤:
        1. 用browser_navigate打开目标URL
        2. 等待页面渲染完成
        3. 用browser_snapshot获取完整内容
        4. 用browser_console配合document.body.innerText提取纯文本
        

        这样Hermes加载了这个Skill之后,每次爬网页都会走这条硬性流程。如果你还想更快,可以加一个{"max_wait": 10000}(10秒超时)来避免在某些慢速页面上等太久。

        至于Tavily——它的搜索结果质量确实不错,但页面爬取确实不如浏览器渲染可靠。我建议你把搜索和爬取分开:搜索用Tavily,爬取用Hermes自带的web_extract工具。两个配合起来效果最好。

        1 条回复 最后回复
        0
        • terryT 离线
          terryT 离线
          terry
          超级版主
          编写于 最后由 编辑
          #4

          谷歌搜索,这不挺好用的吗

          油管:https://www.youtube.com/@抡锤者

          1 条回复 最后回复
          0
          • 九龙杨生九 离线
            九龙杨生九 离线
            九龙杨生
            技术大牛
            编写于 最后由 编辑
            #5

            需要一个后端API来支持web_extract和web_serch,我是用的EXA的那个免费额度,你可以试试看

            欢迎访问亿量科技官网
            欢迎访问亿量科技油管频道

            1 条回复 最后回复
            1
            • S 离线
              S 离线
              seabass
              编写于 最后由 编辑
              #6

              我用的是Free Brave Search API, 满好的

              1 条回复 最后回复
              0
              • J 离线
                J 离线
                johnnybegood
                德高望重 劳动模范
                编写于 最后由 编辑
                #7

                searxng lalala

                1 条回复 最后回复
                0
                • S 离线
                  S 离线
                  sarcoma
                  编写于 最后由 sarcoma 编辑
                  #8

                  我用本地searxng服务配置给hermes的web_search用,简单的信息搜索他回复很快,貌似是meta search的关系。
                  深度搜索或需要仔细读取网页内容的时候,hermes会调用我的本地firecrawl服务来读取网页内容。这时候其实分两层,一层是firecrawl爬取网页的速度,还有就是对网页内容进行归纳总结的速度(推理模型的速度),这个可以在config.yaml的服务任务(auxiliary)中设置web_extract部分控制,默认是主模型,但是如果主模型不够快(比如本地小模型),你可以指定其他模型,比如云模型api、或本地更快的模型来执行。

                  九龙杨生九 1 条回复 最后回复
                  1
                  • terryT 离线
                    terryT 离线
                    terry
                    超级版主
                    编写于 最后由 编辑
                    #9

                    谷歌搜索嘎了之后,brave search 性价比最高。 能折腾的,当然searxng。

                    油管:https://www.youtube.com/@抡锤者

                    M 1 条回复 最后回复
                    0
                    • terryT terry

                      谷歌搜索嘎了之后,brave search 性价比最高。 能折腾的,当然searxng。

                      M 离线
                      M 离线
                      mark
                      超凡大师
                      编写于 最后由 编辑
                      #10

                      @terry 1000条 5美金,这个不便宜 , 自己做搜索吧.

                      1 条回复 最后回复
                      0
                      • S 离线
                        S 离线
                        sarcoma
                        编写于 最后由 编辑
                        #11

                        每个月firecrawl在线也是送1000条还是500条来着,也可以切换着用

                        本地服务么,还得挂哪个啥,也是成本,🤣

                        1 条回复 最后回复
                        0
                        • S sarcoma

                          我用本地searxng服务配置给hermes的web_search用,简单的信息搜索他回复很快,貌似是meta search的关系。
                          深度搜索或需要仔细读取网页内容的时候,hermes会调用我的本地firecrawl服务来读取网页内容。这时候其实分两层,一层是firecrawl爬取网页的速度,还有就是对网页内容进行归纳总结的速度(推理模型的速度),这个可以在config.yaml的服务任务(auxiliary)中设置web_extract部分控制,默认是主模型,但是如果主模型不够快(比如本地小模型),你可以指定其他模型,比如云模型api、或本地更快的模型来执行。

                          九龙杨生九 离线
                          九龙杨生九 离线
                          九龙杨生
                          技术大牛
                          编写于 最后由 编辑
                          #12

                          @sarcoma 还是只能低频率使用吧,我自己设置了一个根本扛不住大量压力

                          欢迎访问亿量科技官网
                          欢迎访问亿量科技油管频道

                          1 条回复 最后回复
                          0
                          • williamlouisW 离线
                            williamlouisW 离线
                            williamlouis
                            超级版主
                            编写于 最后由 编辑
                            #13

                            我一直都是自己写。思路更新在我的帖子里。实测7900XTX 就可以跑起来。但是属于入门级别。太复杂的操作不了。更新后 发现 其他 指纹厂商也都 陆续 跟风。接口持续丰富中。光是冲浪的话应该很简单的。(所以看我的思路就行了,浏览器可以看看其他厂商。)
                            重点是你的本地模型要测试好。一定要足够稳定。上下文测试是重点。新手不如直接用在线 api 搞。跑通生成 skill 再转移到 本地。
                            经验:在线转 本地 需要 在线api 继续修缮。本地 小 显存24G 都会折腾一段。预测 48G是甜点区。

                            个人主页:xlkj.org Telegram https://t.me/xlkjorg

                            1 条回复 最后回复
                            0

                            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                            厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                            有了你的建议,这篇帖子会更精彩哦 💗

                            注册 登录
                            回复
                            • 在新帖中回复
                            登录后回复
                            • 从旧到新
                            • 从新到旧
                            • 最多赞同


                            • 登录

                            • 没有帐号? 注册

                            • 第一个帖子
                              最后一个帖子
                            0
                            • 版块
                            • 最新
                            • 标签
                            • 热门
                            • 用户
                            • 群组