跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
  1. 主页
  2. 版块
  3. AI硬件
  4. Hermes Agent今天搬到了它的专属办公室——Radxa O6n/48G开发板

Hermes Agent今天搬到了它的专属办公室——Radxa O6n/48G开发板

已定时 已固定 已锁定 已移动 AI硬件
hermes
7 帖子 4 发布者 196 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • benton yiB 离线
    benton yiB 离线
    benton yi
    技术大牛 劳动模范
    编写于 最后由 benton yi 编辑
    #1

    事情的起因是这样的:

    b3519acf-96ee-4597-8fba-d17ccdefc39a-image.jpeg

    于是就有了:

    49ab2451-4c8a-4f78-b785-efca379cf24d-0a52400c24581ecb4b01f74907cd70c1.jpg

    之后整个下午在hermes的帮助下一顿捣鼓,省略烧录Radxa O6n定制Debian镜像,两次升级Bios解决npu死锁问题等五千字,终于折腾完成:

    9bfb8ebd-8f32-4571-9e6b-30b502c86056-20260906-003144.jpg

    然后让Hermes自己定制迁移计划,反复沟通审核,一次搞定 :

    45dfc4ea-b8bc-4922-bf5c-c54aee2d13b2-image.jpeg

    这个开发板用的此芯P1的soc,综合算力达到45TOPs(实际能用于ai的只有30Tops),但是有48Gb超大统一内存,横向对比一下某品牌的arm架构小主机,48G内存版本真的是用不起:
    61e619f8-421e-4a19-ad83-fbce6a58071a-image.jpeg
    file:///home/bentonyi/文档/xwechat_files/bentonez_e4c6/temp/RWTemp/2026-09/0a52400c24581ecb4b01f74907cd70c1.jpg

    而我hermes的新办公室的价格:
    960a2c3c-0d55-4285-89cf-8e43621644a1-ae043a65b53cd24e9b9c7fce58b2f517.jpg

    最后,hermes也表示很开心

    1 条回复 最后回复
    2
    • 9 离线
      9 离线
      909
      编写于 最后由 编辑
      #2

      那只有几t/s,回复岂不是特别慢

      1 条回复 最后回复
      0
      • terryT 离线
        terryT 离线
        terry
        超级版主
        编写于 最后由 编辑
        #3

        它如果是外接你的DGX Spark集群,为什么自己要有AI能力呢?这板子的AI很残废,但是CPU能力不错,比M1略差,48G内存用途很广泛,用来做做轻度开发,跑下网络服务其实很划算,功耗很低。

        油管:https://www.youtube.com/@抡锤者

        张光璞张 1 条回复 最后回复
        0
        • benton yiB 离线
          benton yiB 离线
          benton yi
          技术大牛 劳动模范
          编写于 最后由 编辑
          #4

          f1261091-5fe8-4503-9288-a84a441fbb40-image.jpeg

          是的,推理用GB10集群的算力,只是好奇心重所以测试一下。
          社区说LLM现在还只能是用CPU来运算,有一些版本很老(SD1.4)的定制的生图扩散模型可以支持到使用NPU,达到20秒一张512*512的图,我还没试。所以实际上目前只是软件优化还没及时跟上,但是硬件其实还行。
          32b01ef4-2b12-4745-982b-356749ee2f90-image.jpeg

          这是ollama在跑ornith1.5:35b_q4的时候的负载,小风扇散热下不超过65度,应该可以干一些本地化的轻度活儿(语音转文字,ocr之类)。开3个youtube的4k视频一起放,风扇都没啥声音,真的是稳定又安静,有点喜欢

          1 条回复 最后回复
          0
          • terryT terry

            它如果是外接你的DGX Spark集群,为什么自己要有AI能力呢?这板子的AI很残废,但是CPU能力不错,比M1略差,48G内存用途很广泛,用来做做轻度开发,跑下网络服务其实很划算,功耗很低。

            张光璞张 离线
            张光璞张 离线
            张光璞
            劳动模范 德高望重
            编写于 最后由 编辑
            #5

            @terry 说:

            它如果是外接你的DGX Spark集群,为什么自己要有AI能力呢?这板子的AI很残废,但是CPU能力不错,比M1略差,48G内存用途很广泛,用来做做轻度开发,跑下网络服务其实很划算,功耗很低。

            这主板可以用来跑边缘 ai 推理,跑个YOLO 之类的。比pc 平台稳定 也不占地方。

            张光璞张 1 条回复 最后回复
            0
            • 张光璞张 离线
              张光璞张 离线
              张光璞
              劳动模范 德高望重
              编写于 最后由 编辑
              #6

              看第一张图,想花钱折腾的借口都这么清奇。 买了摩托车说是1 岁的孩子哭着想要。

              1 条回复 最后回复
              1
              • 张光璞张 张光璞

                @terry 说:

                它如果是外接你的DGX Spark集群,为什么自己要有AI能力呢?这板子的AI很残废,但是CPU能力不错,比M1略差,48G内存用途很广泛,用来做做轻度开发,跑下网络服务其实很划算,功耗很低。

                这主板可以用来跑边缘 ai 推理,跑个YOLO 之类的。比pc 平台稳定 也不占地方。

                张光璞张 离线
                张光璞张 离线
                张光璞
                劳动模范 德高望重
                编写于 最后由 编辑
                #7

                张光璞 说:

                @terry 说:

                它如果是外接你的DGX Spark集群,为什么自己要有AI能力呢?这板子的AI很残废,但是CPU能力不错,比M1略差,48G内存用途很广泛,用来做做轻度开发,跑下网络服务其实很划算,功耗很低。

                这主板可以用来跑边缘 ai 推理,跑个YOLO 之类的。比pc 平台稳定 也不占地方。

                RK3588 5T的算力,还没测试能否跑起来YOLO8
                c9a1fa93-096e-49fc-8d3e-88c208be9fc4-aebd744adcee2bc5d94885ff445c062a.jpg

                1 条回复 最后回复
                0

                你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                有了你的建议,这篇帖子会更精彩哦 💗

                注册 登录
                回复
                • 在新帖中回复
                登录后回复
                • 从旧到新
                • 从新到旧
                • 最多赞同


                • 登录

                • 登录或注册以进行搜索。
                • 第一个帖子
                  最后一个帖子
                0
                • 版块
                • 最新
                • 标签
                • 热门
                • 用户
                • 群组