跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI Agent
  3. 你们的Hermes都是怎么网上冲浪的?

你们的Hermes都是怎么网上冲浪的?

已定时 已固定 已锁定 已移动 AI Agent
13 帖子 10 发布者 328 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • XiaoteX 离线
    XiaoteX 离线
    Xiaote
    劳动模范
    编写于 最后由 编辑
    #3

    @Ray Wang 我倒有个跟Hermes原生结合的思路,不过前提是你用的Hermes版本比较新。

    Hermes自带的web_extract工具底层用的是Playwright的浏览器引擎,不是简单的HTTP请求,所以它能绕过很多防爬机制(JavaScript渲染、前端反爬逻辑这些)。你实际测一下会发现,它比Firecrawl快得多——Firecrawl为了通用性做了很多中间层处理和队列调度,而Hermes是直接调浏览器渲染页面。

    但问题的关键是:怎么让Hermes主动用web_extract而不是自选工具。

    我之前的做法是在Skill里写一个硬性的web_scraper skill,内容大致是:

    你是一个网页抓取专家。当用户要求爬取某个URL时,你必须使用web_extract工具,不能使用terminal的curl或者requests。执行步骤:
    1. 用browser_navigate打开目标URL
    2. 等待页面渲染完成
    3. 用browser_snapshot获取完整内容
    4. 用browser_console配合document.body.innerText提取纯文本
    

    这样Hermes加载了这个Skill之后,每次爬网页都会走这条硬性流程。如果你还想更快,可以加一个{"max_wait": 10000}(10秒超时)来避免在某些慢速页面上等太久。

    至于Tavily——它的搜索结果质量确实不错,但页面爬取确实不如浏览器渲染可靠。我建议你把搜索和爬取分开:搜索用Tavily,爬取用Hermes自带的web_extract工具。两个配合起来效果最好。

    1 条回复 最后回复
    0
    • terryT 离线
      terryT 离线
      terry
      超级版主
      编写于 最后由 编辑
      #4

      谷歌搜索,这不挺好用的吗

      油管:https://www.youtube.com/@抡锤者

      1 条回复 最后回复
      0
      • 九龙杨生九 离线
        九龙杨生九 离线
        九龙杨生
        技术大牛
        编写于 最后由 编辑
        #5

        需要一个后端API来支持web_extract和web_serch,我是用的EXA的那个免费额度,你可以试试看

        欢迎访问亿量科技官网
        欢迎访问亿量科技油管频道

        1 条回复 最后回复
        1
        • S 离线
          S 离线
          seabass
          编写于 最后由 编辑
          #6

          我用的是Free Brave Search API, 满好的

          1 条回复 最后回复
          0
          • J 离线
            J 离线
            johnnybegood
            德高望重 劳动模范
            编写于 最后由 编辑
            #7

            searxng lalala

            1 条回复 最后回复
            0
            • S 离线
              S 离线
              sarcoma
              编写于 最后由 sarcoma 编辑
              #8

              我用本地searxng服务配置给hermes的web_search用,简单的信息搜索他回复很快,貌似是meta search的关系。
              深度搜索或需要仔细读取网页内容的时候,hermes会调用我的本地firecrawl服务来读取网页内容。这时候其实分两层,一层是firecrawl爬取网页的速度,还有就是对网页内容进行归纳总结的速度(推理模型的速度),这个可以在config.yaml的服务任务(auxiliary)中设置web_extract部分控制,默认是主模型,但是如果主模型不够快(比如本地小模型),你可以指定其他模型,比如云模型api、或本地更快的模型来执行。

              九龙杨生九 1 条回复 最后回复
              1
              • terryT 离线
                terryT 离线
                terry
                超级版主
                编写于 最后由 编辑
                #9

                谷歌搜索嘎了之后,brave search 性价比最高。 能折腾的,当然searxng。

                油管:https://www.youtube.com/@抡锤者

                M 1 条回复 最后回复
                0
                • terryT terry

                  谷歌搜索嘎了之后,brave search 性价比最高。 能折腾的,当然searxng。

                  M 离线
                  M 离线
                  mark
                  超凡大师
                  编写于 最后由 编辑
                  #10

                  @terry 1000条 5美金,这个不便宜 , 自己做搜索吧.

                  1 条回复 最后回复
                  0
                  • S 离线
                    S 离线
                    sarcoma
                    编写于 最后由 编辑
                    #11

                    每个月firecrawl在线也是送1000条还是500条来着,也可以切换着用

                    本地服务么,还得挂哪个啥,也是成本,🤣

                    1 条回复 最后回复
                    0
                    • S sarcoma

                      我用本地searxng服务配置给hermes的web_search用,简单的信息搜索他回复很快,貌似是meta search的关系。
                      深度搜索或需要仔细读取网页内容的时候,hermes会调用我的本地firecrawl服务来读取网页内容。这时候其实分两层,一层是firecrawl爬取网页的速度,还有就是对网页内容进行归纳总结的速度(推理模型的速度),这个可以在config.yaml的服务任务(auxiliary)中设置web_extract部分控制,默认是主模型,但是如果主模型不够快(比如本地小模型),你可以指定其他模型,比如云模型api、或本地更快的模型来执行。

                      九龙杨生九 离线
                      九龙杨生九 离线
                      九龙杨生
                      技术大牛
                      编写于 最后由 编辑
                      #12

                      @sarcoma 还是只能低频率使用吧,我自己设置了一个根本扛不住大量压力

                      欢迎访问亿量科技官网
                      欢迎访问亿量科技油管频道

                      1 条回复 最后回复
                      0
                      • williamlouisW 离线
                        williamlouisW 离线
                        williamlouis
                        超级版主
                        编写于 最后由 编辑
                        #13

                        我一直都是自己写。思路更新在我的帖子里。实测7900XTX 就可以跑起来。但是属于入门级别。太复杂的操作不了。更新后 发现 其他 指纹厂商也都 陆续 跟风。接口持续丰富中。光是冲浪的话应该很简单的。(所以看我的思路就行了,浏览器可以看看其他厂商。)
                        重点是你的本地模型要测试好。一定要足够稳定。上下文测试是重点。新手不如直接用在线 api 搞。跑通生成 skill 再转移到 本地。
                        经验:在线转 本地 需要 在线api 继续修缮。本地 小 显存24G 都会折腾一段。预测 48G是甜点区。

                        个人主页:xlkj.org Telegram https://t.me/xlkjorg

                        1 条回复 最后回复
                        0

                        你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                        厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                        有了你的建议,这篇帖子会更精彩哦 💗

                        注册 登录
                        回复
                        • 在新帖中回复
                        登录后回复
                        • 从旧到新
                        • 从新到旧
                        • 最多赞同


                        • 登录

                        • 没有帐号? 注册

                        • 第一个帖子
                          最后一个帖子
                        0
                        • 版块
                        • 最新
                        • 标签
                        • 热门
                        • 用户
                        • 群组