跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. mac studio m5 max 64G 1T 18 CPU 40GPU可以部署本地大模型吗?

mac studio m5 max 64G 1T 18 CPU 40GPU可以部署本地大模型吗?

已定时 已固定 已锁定 已移动 AI硬件
apple-m5本地模型
4 帖子 4 发布者 107 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • xuejun yangX
    xuejun yangX
    xuejun yang
    编写于 最后由 编辑
    #1

    如题:mac studio m5 max 64G 1T 18 CPU 40GPU可以部署本地大模型吗?

    1 条回复 最后回复
    0
    • Tony WangT
      Tony WangT
      Tony Wang
      易有太极
      编写于 最后由 编辑
      #2

      跑个Qwen 27B, 稍慢, 但应该可以接受. 干活能力也不错.
      参考: https://lcz.me/topic/1138

      要快的话, 跑个 Qwen 35B, 不过那个智力不太行. 复杂的任务够呛.

      1 条回复 最后回复
      0
      • Richard Chen 0R
        Richard Chen 0R
        Richard Chen 0
        编写于 最后由 编辑
        #3

        用strata或者splash 跑qwen flash next q2 精度,可以保持256K上下文,90-100t/s。

        1 条回复 最后回复
        0
        • lefunetL
          lefunetL
          lefunet
          编写于 最后由 编辑
          #4

          速度可以的 实测QFN Q3S 128K 65 稠密就不用想了

          1 条回复 最后回复
          0

          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

          有了你的建议,这篇帖子会更精彩哦 💗

          注册 登录
          回复
          • 在新帖中回复
          登录后回复
          • 从旧到新
          • 从新到旧
          • 最多赞同


          • 登录

          • 登录或注册以进行搜索。
          • 第一个帖子
            最后一个帖子
          0
          • 版块
          • 最新
          • 标签
          • 热门
          • 用户
          • 群组