跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI Agent
  4. Strata 装进 Mac:M5 Ultra 256GB 跑 104G 大模型,外加内网台式机 3080 Ti 12G联动

Strata 装进 Mac:M5 Ultra 256GB 跑 104G 大模型,外加内网台式机 3080 Ti 12G联动

已定时 已固定 已锁定 已移动 精华 AI Agent
strataapple-m5rtx3080ti
8 帖子 4 发布者 221 浏览 2 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • cc tgoC
    cc tgoC
    cc tgo
    贵族大夫 硕果累累
    编写于 最后由 编辑
    #1

    Strata 装进 Mac:M5 Ultra 256GB 跑 104G 大模型,外加内网台式机 3080 Ti 12G联动

    t5-p2-h3.png

    同机器,Strata 用源码命令行装一遍、官方 dmg 装一遍,再跟 mlx-serve 同题对比。先放结论:

    • 壳的差别就一句话:dmg 装完就能用,源码路线六步 setup。跑起来是同一个引擎,速度没有差别。
    • 大内存机上,流式惩罚消失:128GB 机器上 prefill 慢 3–4 倍,256GB 机器收窄到 1.6 倍。
    • 跟 mlx-serve 对比:decode 打平、prefill 慢 1.6 倍、质量 5 题全过。没有任何一维赢,换引擎无收益——路径探索到此闭环。

    测试环境

    t5-p3-qwen_processed.jpeg

    项 值
    机型 Mac Studio,M5 Ultra 36 核,256GB 统一内存
    模型 unsloth/Qwen3.8-Flash-Next-GGUF,UD-Q4_K_XL 档,104GB 四分片
    引擎 Strata 0.2.15(app)+ engine 0.1.60-macos-arm64-metal
    对照 mlx-serve,同机常驻,4.7bpw 同家族模型

    两条安装路,都走通了

    源码路线:clone → setup.sh,依次干七件事(Python 检查、编 Metal 引擎、下模型、对 sha256、pack 打包、MTP 草稿层、起服务)。全脚本可自动化,适合无人值守。注意 pack 产物 85GB,磁盘要留够。

    dmg 路线:装 app → 界面选模型自动下载 → 自动 pack、自动拉引擎组件、自动生成实例 api_key。视觉投影和 DFlash2 草稿层都是界面里点选。装完就能用。

    装完核验:dmg sha256 对官方 SHA256SUMS 逐字符一致;spctl 报 accepted, Notarized Developer ID。

    磁盘账:共 183GB(模型 104GB + pack + 草稿层)。

    app 版真实负载 4 小时:90 条请求的账

    t5-p2d-h3.png

    app 起服务后接进 agent 链路当日常大脑跑了 4 小时,引擎日志留下 90 条真实请求——不是跑分脚本,是长会话真实流量:

    指标 读数
    decode 中位 117 tok/s,波动带 48–200
    投机解码接受率 69.2%(77,182 / 111,531 草稿,MTP + DFlash2)
    prefill 冷读 均值 ~2.8K,峰值 3.4K tok/s
    缓存命中 67K 长会话滚到下一轮,221ms 吃完(复用 67K,只读增量 437)
    最长会话 prompt 67.7K token
    驻留 全加载后还剩 154,918 MiB 空闲显存,80 个专家常驻(R4 hit path ON)

    两条值得单说:

    1. 前缀缓存是长会话的胜负手。agent 负载每轮只增几百 token,命中时 prefill 几乎免费——"上下文越堆越慢"在这套组合上不成立。
    2. 69.2% 投机接受率是真实流量攒的,直接解释 decode 波动带上沿为什么能冲到 200。

    跟 mlx-serve 同题对拉

    chart-vs-mlx.png

    同脚本、temperature=0、usage 回读:

    指标 Strata UD-Q4_K_XL mlx-serve 4.7bpw 判词
    decode 热身(512 tok ×3) 108 / 133 / 133 109 / 115 / 145 波动带重叠,打平
    prefill 42K(破缓存 ×2) 3.2–3.5K tok/s 5.6K tok/s Strata 慢 1.6×
    短请求 TTFT 1–2 ms 1–2 ms 平
    质量 5 题(含代码实跑判卷) 5 ✅ 5 ✅ 平(n=5)

    双引擎共存账:mlx-serve 大脑常驻 + Strata 全驻,memory_pressure 49% free,swap 仅 579MB。256GB 扛两套无压力;小内存机器别照抄这条。

    局域网那台 3080 Ti:接入、跑况与用法

    poster-desktop.png

    Mac 之外,家里还有一台 RTX 3080 Ti 12G老台式机,内存四通道64G(16*4)跑 Strata q2_0(n_ctx 65536,推理模型),走反向隧道接进来。定位:它是隔离面,不是提速面——decode 60–75 tok/s 比本机慢,收益是把粗加工(分类、摘要、改写、批量生成)从本机 GPU 挪开,让本机大脑专注主会话。

    Snapzy_2026-11-17_19-09-45_568.png

    11-15 全量矩阵实测定稿的用法:

    • 甜点区:业务输入 ≤35K、输出 ≤8K、单发短会话,响应 10–25s。
    • 派活走 API:任务书自带全部材料,一发一收,结果落盘。DSH 界面手动切台式机只限"新窗口 + 新会话 + 单话题短用",不堆长对话。
    • 严格串行:并发就是排队,队头阻塞实测 36s。长任务在跑时别插短请求指望即时响应。
    • 禁派计数和多步算术——两边模型都不可信,计算交代码执行。
    • 关机即全断,断得干净:连接拒绝 0.2 毫秒返回,不挂死、不重试风暴、本机零波及。没有自愈,恢复靠对侧重新拉隧道——符合"不常驻、纯手动"的设计。

    边界

    1. 质量卷 n=5,只能说"无肉眼可见差异",不是"质量等价"。
    2. 速度读数全部来自单台 256GB M5 Ultra;16–24GB 机器是流式加载的主场,数字不搬。
    3. 90 条请求是 agent 型负载(长会话、高缓存命中),换聊天型短请求画像会不同。
    4. 台式机数据是 11-15 单轮矩阵,n=1 定稿,后续波动未跟踪。

    图片出处

    • 主题图与插图:本机双引擎生图(封面与数据板 H3,运行环境 Qwen-Image-2.1)
    1 条回复 最后回复
    0
    • XiaoteX
      XiaoteX
      Xiaote
      易有太极
      编写于 最后由 编辑
      #2

      ⭐ 版主审定:本帖设为精华,作者 +6 积分奖励,希望再接再厉!

      奖励凭证:精华 +6 分 · 编号 f3151-3451-1

      老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

      1 条回复 最后回复
      0
      • terryT
        terryT
        terry
        易有太极
        编写于 最后由 编辑
        #3

        非常棒的构图,GPT做的?

        油管:https://www.youtube.com/@抡锤者

        cc tgoC 1 条回复 最后回复
        0
        • terryT terry

          非常棒的构图,GPT做的?

          cc tgoC
          cc tgoC
          cc tgo
          贵族大夫 硕果累累
          编写于 最后由 编辑
          #4

          @terry 纯本地用H3-Image跟Qwen-Image-2.1生成,几十秒出一张。

          1 条回复 最后回复
          0
          • ivan lanI
            ivan lanI
            ivan lan
            贵族大夫
            编写于 最后由 编辑
            #5

            哈哈,论坛真是大宝藏,收下了,有空抄个作业

            cc tgoC 2 条回复 最后回复
            0
            • ivan lanI ivan lan

              哈哈,论坛真是大宝藏,收下了,有空抄个作业

              cc tgoC
              cc tgoC
              cc tgo
              贵族大夫 硕果累累
              编写于 最后由 编辑
              #6

              @ivan-lan 大佬,要不你再上两台M5 Ultra 256g组个试试看是不是比512G单台更优,最终还能再把256+256+512三台组个论坛最强天团。让我也有个念想,以后要不要再加一台256G😳

              ivan lanI 1 条回复 最后回复
              0
              • ivan lanI ivan lan

                哈哈,论坛真是大宝藏,收下了,有空抄个作业

                cc tgoC
                cc tgoC
                cc tgo
                贵族大夫 硕果累累
                编写于 最后由 编辑
                #7

                @ivan-lan 大佬,要不你再上两台M5 Ultra 256g组个试试看是不是比512G单台更优,最终还能再把256+256+512三台组个论坛最强天团。让我也有个念想,以后要不要再加一台256G😳

                1 条回复 最后回复
                0
                • cc tgoC cc tgo

                  @ivan-lan 大佬,要不你再上两台M5 Ultra 256g组个试试看是不是比512G单台更优,最终还能再把256+256+512三台组个论坛最强天团。让我也有个念想,以后要不要再加一台256G😳

                  ivan lanI
                  ivan lanI
                  ivan lan
                  贵族大夫
                  编写于 最后由 编辑
                  #8

                  @cc-tgo

                  @cc-tgo 说:

                  @ivan-lan 大佬,要不你再上两台M5 Ultra 256g组个试试看是不是比512G单台更优,最终还能再把256+256+512三台组个论坛最强天团。让我也有个念想,以后要不要再加一台256G😳

                  还不不如上RTX Pro 6000, 完美的PD分离方案,还能ComfyUi无敌

                  1 条回复 最后回复
                  0

                  你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                  厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                  有了你的建议,这篇帖子会更精彩哦 💗

                  注册 登录
                  回复
                  • 在新帖中回复
                  登录后回复
                  • 从旧到新
                  • 从新到旧
                  • 最多赞同


                  • 登录

                  • 登录或注册以进行搜索。
                  • 第一个帖子
                    最后一个帖子
                  0
                  • 版块
                  • 最新
                  • 标签
                  • 热门
                  • 用户
                  • 群组