跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
F

fsclsnow

@fsclsnow
体面乡绅
取消关注 关注
关于
帖子
19
主题
3
分享
0
群组
1
粉丝
1
关注
0

帖子

最新 最佳 有争议的

  • [H3剑心比赛] Mac Studio M5 Max 40 GPU 64 GB 统一内存|MiniMax H3 3D / 2D |Draw Things 单卡一次跑完 294 帧
    F fsclsnow
    AI音视频画图 apple-m5 mac 视频生成

    @Terry 确实拉,后面剑心的剑还穿模了 😰


  • [H3剑心比赛] Mac Studio M5 Max 40 GPU 64 GB 统一内存|MiniMax H3 3D / 2D |Draw Things 单卡一次跑完 294 帧
    F fsclsnow
    AI音视频画图 apple-m5 mac 视频生成

    前言

    重在参与。用的Drawthings, 没有调教,没有任何优化。

    这次参赛没有分段、没有 LoRA、没有 turbo 加速,也没有 ffmpeg 拼接。两条 12 秒成片都是同一台 Mac Studio 上、同一个 Draw Things 项目里,一次生成 294 帧(1344×768)出来的。下面所有参数、耗时都来自 Draw Things 项目数据库里的计时 log(每条生成记录的 duration / timings),不是估算。

    • 3D CGI 成片:https://youtu.be/7X3QUBg-3LQ
    • 传统 2D 动画成片:https://youtu.be/noVovfnEz7s

    硬件 / 软件环境

    • 机器:Mac Studio
    • 芯片:Apple M5 Max,18 核(6 超级核 + 12 性能核)
    • 内存:64 GB 统一内存
    • OS:macOS 27.0.1
    • 推理栈:Draw Things 26.1020.0(CoreML / Metal,纯苹果栈,没有 ComfyUI、没有 ROCm、没有 CUDA)
    • 输出格式:Draw Things 原生视频 + 同步音频 → ProRes 4444(1344×768, 24 fps)+ PCM 32 kHz 立体声

    M 卡跑 H3 的难点不是"跑不通",而是"跑得慢":294 帧整段生成,采样阶段占了 98% 以上的时间,单步 4 分钟上下。能一次跑完 294 帧靠的是下面几个设定。

    模型档案

    • minimax_h3_ref2va_i8x.ckpt — 34.4 GB(Ref2VA 基座,i8x 量化)
    • qwen_3_vl_32b_50_i8x.ckpt — 26.5 GB(Qwen3-VL-32B 文字编码器,i8x)
    • minimax_h3_vae_f16.ckpt — 5.51 GB(视频 / 音频 VAE,FP16)
    • 合计约 66.4 GB 权重,全部在 64 GB 统一内存里跑
    • LoRA:无(loras: [])|upscaler:无|face restoration:无|hiresFix:关闭
    • 参考图走 canvas / moodboard 喂入(比赛主帖指定的那组剑心、志志雄参考图)

    关键参数(两条片子除 Style 与 seed 之外完全一致)

    项 3D 版 2D 版
    模型 minimax_h3_ref2va_i8x.ckpt 同
    分辨率 1344 × 768 1344 × 768
    帧数 294 294
    步数 50 50
    采样器 DDIM Trailing(sampler: 16) 同
    Shift / Audio Shift 12 / 3 12 / 3
    Text guidance 1 1
    Seed 2254839087 1694873285
    Seed mode ScaleAlike(seedMode: 2) 同
    分块解码 开启,tile 256×256,overlap 64 同
    分块扩散 关闭 关闭
    teaCache 关闭 关闭
    maskBlur / maskBlurOutset 1.5 / 0 1.5 / 0
    sharpness 0 0
    batchCount 1 1
    strength 1 1

    这些数值就是官方 Ref2VA 的推荐起点(768 短边、50 步 DDIM Trailing、Text Guidance 1、Shift 12、Audio Shift 3),没有改动。

    为什么 64 GB 能一次跑完 294 帧

    1. i8x 量化基座 + i8x 文字编码器:34.4 GB + 26.5 GB,这是 Draw Things 官方给 H3 的量化版本,也是 64 GB 机器唯一可行的组合。
    2. tiledDecoding: true(tile 256×256 / overlap 64):VAE 解码按块进行,294 帧不是一次性解码,解码阶段只用了 122.6 s / 117.0 s。
    3. tiledDiffusion: false:扩散本身整块跑 —— 说明 294 帧的 latent 在 64 GB 里放得下,不需要分段。
    4. 没有 turbo LoRA:官方 Ref2VA 基座没有 4-step turbo 分支,所以只能 50 步硬跑,这是耗时的根源。

    实测耗时(取自项目 sqlite 里的 duration / timings)

    版本 总耗时 text_encoded controls_generated sampling image_decoded
    3D 12,542.3 s(3 h 29 m 02 s) 43.8 s 22.4 s 12,353.2 s(98.5%) 122.6 s
    2D 13,619.0 s(3 h 46 m 59 s) 65.8 s 5.9 s 13,430.1 s(98.6%) 117.0 s

    采样阶段逐步耗时:

    • 3D:首条 log 22.6 s(首块预热),其余 50 步平均 246.6 s/步,区间 238.3 – 254.4 s
    • 2D:首条 log 14.7 s,其余 50 步平均 268.3 s/步,区间 259.9 – 279.4 s

    2D 版比 3D 版慢 1,076.7 s(约 18 分钟),每步慢约 22 s。

    成片校验

    项 3D 2D
    分辨率 1344 × 768 1344 × 768
    帧率 / 帧数 24 fps / 294 帧 24 fps / 294 帧
    时长 12.25 s 12.25 s
    视频编码 ProRes 4444(ap4h) ProRes 4444(ap4h)
    音频 PCM 32 kHz 立体声,非静音 PCM 32 kHz 立体声,非静音
    文件大小 326 MB 305 MB

    直接在 1344×768 采样,无缩放、无补帧、无裁切。

    Prompt(统一英文,只切 Style)

    3D 版:

    Style: 3D CGI animation  Masterpiece, high quality, cinematic lighting.
    Subject: A fierce battle sequence featuring two characters based on the reference images—a red-clad swordsman (Jianxin) and a purple-robed warrior (Zhizhixiong).
    Action: The camera begins with a dynamic low-angle tracking shot. The swordsman in red dashes forward with a long sword, leaving a glowing trail, while the warrior in purple stands firm and executes a sweeping counter-attack with a flaming effect. They clash in the center of the frame, creating a shockwave of energy and sparks. The camera rapidly orbits around them as the fiery battle intensifies, concluding with the red-clad swordsman landing gracefully while the purple warrior points his weapon forward, both facing the camera.
    Environment: Dramatic background with embers floating in the air, high contrast lighting.
    

    2D 版:开头换成 2D traditional anime,其余一字不差。

    画面对照

    两版都完成了 prompt 要求的:红衣剑客突进、火焰横扫反击、中央交锋、镜头斜向/低角度环绕、结尾双方持刃相对。

    • 3D 版:材质光滑、光影立体,人物接近手办/三维渲染质感;火星与火焰柱构成包围式构图,轮廓光明显。
    • 2D 版:线条清晰、色块分明、阴影戏剧化,典型赛璐璐手绘动画调性;剑刃交错与橙黄光带形成对角线构图,红发紫眼剑客与缠脸紫袍对手的对决更"动画化"。

    复现说明

    附件 3D.json / 2D.json 就是这两条成片对应的 Draw Things 生成参数导出,逐字段可核对。同环境(M5 Max 64 GB + Draw Things 26.1020.0 + 上述三个权重)用同一 prompt、同一 seed 重跑即可复现:3D seed 2254839087,2D seed 1694873285。

    需要留意的两点:

    1. 64 GB 是这条链路的下限体验,294 帧整段扩散靠 i8x 量化才放得下;换 i6x 或加 hiresFix 会撑爆。
    2. 没有 4-step turbo LoRA 可用(Ref2VA 基座不支持),所以 50 步是硬成本,一条 12 秒成片约 3.5 小时。

    2D.json 3D.json


  • 【实测】Mac Studio M5 Max 64GB 跑 Strata + Qwen3.8-Flash-Next Q2_0:安装、配置与 256K 上下文阶梯实测
    F fsclsnow
    LLM讨论区 apple-m5 strata qwen-flash

    @lefunet Q3主要问题还是在内存占用过大,建议96G以上机子尝试。不然上下文扛不住。也可能我自己姿势不对,经常一些修小bug的任务。微思考下就能把上下文搞崩了了。


  • 【实测】Mac Studio M5 Max 64GB 跑 Strata + Qwen3.8-Flash-Next Q2_0:安装、配置与 256K 上下文阶梯实测
    F fsclsnow
    LLM讨论区 apple-m5 strata qwen-flash

    @lefunet 48G内存 我觉得不太行。在其他应用全关的情况下,Q2也许能勉强跑起来,毕竟启动就要占据将近40G+;你只能跑很短的上下文,快问快答还行,agent任务基本就很难了。


  • 【实测】Mac Studio M5 Max 64GB 跑 Strata + Qwen3.8-Flash-Next Q2_0:安装、配置与 256K 上下文阶梯实测
    F fsclsnow
    LLM讨论区 apple-m5 strata qwen-flash

    结论先说:64GB 的 M5 Max 能跑 125B 的 Qwen3.8-Flash-Next(Q2_0 量化),262K 上下文完整跑通,512K 卡在时间预算而不是模型本身。
    实测 prefill 吞吐约 1,870–2,077 tok/s,生成吞吐约 79–89 tok/s;512K 请求引擎侧实际跑了 310.5 s 才被客户端中止。


    一、测试机器

    项目 配置
    机型 Mac Studio(Mac17,14,型号 MHQJ4LL/A)
    芯片 Apple M5 Max
    CPU 18 核(6 超级核 + 12 性能核)
    统一内存 64 GB
    GPU 内置,40 核,Metal 4
    系统 macOS 27.0.1(Build 26A434),arm64

    引擎自报的 CPU 配置(启动日志):

    CPU pool: 16 workers by default (18 physical cores, 18 logical processors;
    bounded by physical cores, one kept free)
    host thread on core 0 (draining too)
    this CPU has no AVX-512: the expert kernels run on ggml-cpu vec_dot
    

    二、软件与模型

    项目 内容
    推理框架 Strata(开源,MIT)—— 版本 0.2.1,Metal 引擎 0.1.46.2(日志显示 engine 0.1.46-metal)
    模型 Qwen3.8-Flash-Next,125B 参数 MoE(48 层,每层 512 专家)
    量化版本 ISTA-DASLab 的 GSQ-RCO Q2_0(分 2 个 shard)
    模型体积 shard1 37.6 GB + shard2(PLE n-gram 表) 28.8 GB = 66.4 GB
    视觉编码器 mmproj-Qwen3.8-Flash-Next-BF16.gguf,0.91 GB
    MTP 草稿层 mtp-q2_0.gguf,0.89 GB(draft 词表 106,299 tokens)
    本地 pack packs/q2_0/dense.bin,1.49 GB(1,079 个张量)
    磁盘总占用 Strata-data/ 约 70 GB
    服务地址 OpenAI 兼容 API:http://127.0.0.1:8080/v1;聊天页:http://127.0.0.1:8080/

    /v1/health 返回:

    {"status":"ok","max_context":524288,"model":"qwen3.8-flash-next-q2_0",
     "images":true,"api_key":false,"loaded":true,"service":"strata"}
    

    三、安装过程(Mac 源码路线)

    Strata 在 Mac 上有两条路:.dmg 应用 / Terminal 版(预编译引擎),或源码 ./setup.sh(自己编译 Metal 引擎)。本机走的是源码路线。

    git clone https://github.com/Niko1221/Strata && cd Strata
    ./setup.sh          # 问模型尺寸;--yes 走推荐答案
    

    setup.sh 依次做 7 件事(已完成的步骤会自动跳过):

    1. Python:需要 3.10+,macOS 自带 3.9 时会下载一个 25 MB 的独立 Python 3.12(SHA-256 校验),不需要 sudo/Homebrew。本机已有 Homebrew Python 3.14,直接建 .venv。
    2. 体检:芯片、内存、macOS 版本、Command Line Tools、磁盘空间。
    3. Python 依赖装进 .venv,CMake 与 Ninja 也来自 pip。
    4. 编译引擎 build-metal/strata(Apple metal-cpp 头文件 + llama.cpp 的 ggml,本机 AppleClang 21)。
    5. 下载模型(断点续传;已有 GGUF 可用 --gguf-dir)。
    6. 准备模型:生成 pack(几秒)+ MTP 草稿层(约 5 GB 原始 checkpoint)。
    7. 写 strata-<model>.json 与 run-<model>.sh,然后启动服务。

    本机实际时间线(2026-10-20)

    时间 事件
    14:02 创建 .venv(Python 3.14.7)
    14:03 Metal 引擎编译完成(build-metal/strata,4.7 MB)
    14:17 模型 shard 1 下载完成(37.6 GB)
    14:27 模型 shard 2 下载完成(28.8 GB)
    14:28 视觉编码器 + pack(dense.bin 1.49 GB)就绪;strata-vision 编译完成
    14:31 MTP 草稿层(0.89 GB)生成;写入 run-q2_0.sh
    14:31:43 引擎首次启动,--max-context 32768
    15:24 / 15:32 / 16:52 上下文依次调到 131072 → 262144 → 262144
    20:19 / 20:56 上下文调到 524288,跑阶梯实测

    四、配置信息

    strata-q2_0.json(由 run-q2_0.sh 调用):

    {
      "exe": ".../build-metal/strata",
      "args": [
        "--pack",        ".../Strata-data/packs/q2_0",
        "--native",      ".../Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-00001-of-00002.gguf",
        "--ple-gguf",    ".../Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-00002-of-00002.gguf",
        "--expert-profile", ".../Strata/data/expert-profile.bin",
        "--expert-cache", "64",
        "--prefill",     "auto",
        "--spec",        "2",
        "--mtp",         ".../Strata-data/mtp/rt",
        "--max-context", "524288",
        "--mmap-experts",
        "--vision"
      ],
      "tokenizer": ".../packs/q2_0/tokenizer",
      "model_name": "qwen3.8-flash-next-q2_0",
      "port": 8080,
      "backend": "metal",
      "env": { "STRATA_METAL_STREAM": "0" },
      "vision": {
        "exe": ".../build-vision/bin/strata-vision",
        "mmproj": ".../mmproj-Qwen3.8-Flash-Next-BF16.gguf",
        "gpu": true,
        "max_tokens": 1024
      }
    }
    

    参数含义(按本机实测理解):

    参数 作用
    --native 37.6 GB 主文件被 Metal 直接映射进统一内存("wrapped"),专家权重不复制
    --ple-gguf 28.8 GB 的 n-gram PLE 表,从 SSD 逐行读,不计入显存
    --expert-cache 64 常驻 GPU 的专家槽位 64 个,仅 0.08 GiB;按路由频率排序,不淘汰
    --expert-profile 24,576 个专家配对的排序表,决定哪些专家常驻
    --spec 2 MTP 投机解码窗口 2(Mac 默认值)
    --mtp 草稿层,实测 drafts accepted 7 of 8
    --max-context 上下文窗口,本机从 32768 逐步调到 524288
    --vision 图片输入开启(默认开)

    ⚠️ 524K 上下文时引擎的警告:

    serve: 0 MiB of VRAM free with everything loaded - LOW: requests may stall;
      add --vram-reserve-mib 1212 to the config's args (or lower --max-context)
    

    另外 memory guard: the available RAM cannot be read; parking and session save/restore are refused —— 所以 Strata 侧没有 oMLX 那样的 /admin/api/stats,测试脚本无法采集内存峰值(报告里 peak GiB 为 -)。


    五、测试工具

    自写脚本 scripts/local-test/context_capacity_probe.py:

    • 扫描本机 OpenAI 兼容端口(8000 / 8080),列出在线模型供选择;
    • 先做 校准(测 chat 模板开销与 tokens/字符比例,本次模板开销 72 tokens,filler 47 tokens/行);
    • 然后按 16K → 32K → 64K → 128K → 256K → 512K 阶梯上升;
    • 每步 max_tokens=16,记录真实 prompt_tokens / completion_tokens / prefill_ms / total_time / 墙钟时间;
    • 任一步失败(OOM、memory guard、超时、上下文超限、服务端截断)立即停止,不再试更高阶梯;
    • 每次运行独立目录,不覆盖旧结果。

    本次运行参数:--mode ladder,--gen-tokens 16,--time-budget 480,--max-requests 20,--request-timeout 360。


    六、实测结果(run-20261020-201926-074430ec)

    • 目标模型:qwen3.8-flash-next-q2_0 @ http://127.0.0.1:8080/v1
    • 状态:ladder_stopped_timeout,总耗时 479.61 s,请求 10 条(9 成功 / 1 失败)
    阶梯上下文 目标 prompt 实际 prompt prompt 字符 gen tokens prefill(ms) prefill tok/s total(s) 状态
    16,384 16,304 16,286 60,408 16 7,840.0 2,077 8.14 OK
    32,768 32,688 32,689 121,483 16 16,048.3 2,037 16.26 OK
    65,536 65,456 65,448 243,458 16 32,262.5 2,029 32.49 OK
    131,072 130,992 131,013 487,583 16 66,416.4 1,973 66.69 OK
    262,144 262,064 262,049 975,483 16 140,141.4 1,870 140.48 OK
    524,288 524,208 — 1,951,633 — — — 210.54 timeout

    关键指标:

    指标 值
    最高完成阶梯 262,144 tokens
    实测最大 prompt tokens ≥ 262,049
    上下文可信区间 [262,049, 524,208]
    prefill 吞吐中位数 / P95 2,029 / 2,077 tok/s
    生成吞吐中位数 78.7 tok/s
    最大单请求耗时 210.54 s
    请求体总字节 3,853,524 B
    缓存命中 token 0(每阶梯都是新会话)

    引擎侧对应日志(同一请求):

    prompt 262049 tokens = 0 reused + 262049 read in 140141 ms (1869.9 tok/s),
      16 generated in 203 ms (78.7 tok/s), drafts accepted 7 of 8, 6 checkpoints
    prompt 524215 tokens = 0 reused + 524210 of 524215 read in 310525 ms (1688.1 tok/s),
      0 generated in 2 ms (0.0 tok/s) (cancelled)
    

    七、结果解读

    1. 262K 是真跑通的,不是"声明支持"。
    服务端 /health 声明 max_context: 524288,但声明不等于可用。实测 262K 完整 prefill + 生成 16 token,没有任何截断或报错。

    2. 512K 失败是"时间预算"问题,不是模型拒绝。
    失败类型是 Timeout: TimeoutError,HTTP 状态 -1(客户端侧),而不是服务端返回 400/500。整轮运行耗时 479.61 s,正好撞上 --time-budget 480 的全局预算,所以这条请求在 210.5 s 处被客户端看门狗中止;引擎日志显示该请求的 prefill 推进到 524,210 / 524,215 tokens,累计 310.5 s(1,688 tok/s) 后才被标记为 cancelled。
    → 把 --time-budget 提到 900 s、--request-timeout 提到 600 s,512K 大概率能跑通。

    3. prefill 吞吐随上下文下降约 10%。
    2,077 → 2,037 → 2,029 → 1,973 → 1,870 tok/s。16K 到 262K 只降 10%,说明长上下文没有明显的平方级恶化(MoE + PLE 的读取走 SSD,专家命中走 GPU)。

    4. 真正的瓶颈是显存余量。
    32K 上下文时 10273 MiB of VRAM free;524K 时 0 MiB of VRAM free,引擎直接提示"requests may stall"。64 GB 统一内存跑 Q2_0(官方建议 64 GB 起)在 512K 上是刚好卡在边界。

    5. KV 缓存复用效果非常明显。
    同一会话重复请求时,日志出现:

    prompt 262132 tokens = 262127 reused + 5 read in 25 ms (197.0 tok/s)
    

    262K 上下文从 140 s 降到 25 ms。阶梯测试每步都是新会话,所以 cached_tokens = 0;日常多轮对话的实际体验远好于阶梯数字。

    6. 生成速度稳定。
    带 MTP(--spec 2)实测 79–89 tok/s,草稿接受率约 7/8。


    八、复现命令

    # 1) 启动服务
    cd /Users/snow/local-ai/Strata/Strata
    ./run-q2_0.sh
    
    # 2) 健康检查
    curl http://127.0.0.1:8080/v1/health
    
    # 3) 阶梯实测
    cd /Users/snow/Documents/workspace
    python3 scripts/local-test/context_capacity_probe.py --list
    python3 scripts/local-test/context_capacity_probe.py --select 2
    
    # 4) 想跑满 512K,把预算放宽
    python3 scripts/local-test/context_capacity_probe.py \
      --select 2 --time-budget 900 --request-timeout 600 --max-requests 12
    

    九、给同样配置的人的建议

    场景 建议
    64 GB M5 Max,日常使用 --max-context 262144,稳;实测 262K 无压力
    想试 512K 保留 --vram-reserve-mib 1212,并把客户端超时/预算放宽到 600–900 s
    磁盘 至少预留 80 GB。本机模型放在内置 SSD(剩余 618 GB),外接 4 TB SSD 存放 oMLX 的模型
    多轮长对话 开启缓存复用,实际首 token 延迟远低于阶梯测试值
    想要更高质量 官方文档:64 GB 内存 Q2_0 / IQ2_XS / IQ3_XXS 都能装,但 IQ3_XXS 需要关闭浏览器并把上下文控制在 128K 以内;IQ3_S 建议 96 GB 起

    附:数据来源

    • 硬件:system_profiler SPHardwareDataType / sysctl / diskutil
    • 服务元数据:/v1/health、/v1/models、strata-q2_0.json、build-metal/BUILD.json
    • 引擎日志:Strata/strata-q2_0.log
    • 测试报告:scripts/local-test/results/run-20261020-201926-074430ec/summary.md(另有 result.json / probes.csv / probes.jsonl / meta.json)
    • 复现性:20:27 的第二轮(run-20261020-202748-1342eaf6)得到同样的结论——256K 成功、更高阶梯超时。

  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    @01-ltzc 很简单的提示词:
    “制作一个有数个关卡的飞机射击游戏。画面精致好看,操作流畅,细节清楚”


  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    最后展示下最终成品效果,图一乐。

    Screenshot 2026-09-25 at 16.44.47.png

    ASTRO Strike.html.zip


  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    半实战测试,让Qwen3.8-27B 写了个射击小游戏;反复修一些小bug;调整关卡难度,物品掉落折腾了半天。期间大部分由hermes调配完成。不知道是不是DSH对非自家模型适配的调配机制问题。给了他几个请求发一起,他一通思考然后就爆上下文罢工了。期间还报错在自己workspace内的文件他自己无法修改,最后爆掉了。
    Screenshot 2026-09-25 at 16.22.37.png

    还请DSH大神指导。

    然后我让Hermes去查,就是可以修改的,没问题。是DSH打开文件,又开了个复件自己修改自己被拒。。。我也是没想明白DSH怎么把自己绕进去的。

    然后就让Hermes持续开发完善了小半天。长上下文持续工作下,输出就降到了33 Tok/s。
    今天让35B-A3B开发了第四关,很顺利的一把完成。没遇上什么问题。因为上下文压力也比较小,输出在62 Tok/s
    也算模拟小规模实际开发时,2个模型大概的能力展示。27B稠密模型这个速度也还算是可以接受,就是心理预期知道,实际能力很难维持50 Tok/s左右的。

    Screenshot 2026-09-25 at 16.28.19.png


  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    @eddie-hk 互相学习!互相学习!😊


  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    接着测试 oMLX with Qwen3.8-35B-A3B-Distill-oQ8-fp16-mtp(38.6G)

    
    Screenshot 2026-09-25 at 11.39.24.jpeg
    A3B模型性能更好了,缺点是因为Q8占内存更高,上下文128K以上就压力太大了。

    智力测试与27B(Q4)对比:

    Screenshot 2026-09-25 at 12.53.54.png

    除了LIVECODEBENCH 低了不少,其余测试似乎和4Bit 27B不相上下


  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    备注:
    本人是纯菜鸟。不是UP主,不是从业者
    自己在虚心关注,学习,练习中。
    希望能拽住时代大浪潮的尾巴,不被甩开太远。

    望各大佬不令指导指正。


  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    用oMLX加载MTPLX优化的模型,关闭思考,启用Lightning MTP
    Model用的是Qwen3.8-27B-MTPLX-Optimized-Speed (19.5G)
    执行简单回话,任务,写个贪吃蛇小游戏
    Screenshot 2026-09-24 at 11.43.56.png
    一次成功,图形画面也不错
    Screenshot 2026-09-24 at 11.45.15.png
    数据还挺漂亮。
    性能测试结果:

    Screenshot 2026-09-24 at 11.46.41.png

    智力测试结果:
    智能基准对比

               模式      抽样              Qwen3.8-27B-MTPLX-Optimized-Speed
    

    MMLU 抽样 1000/14042 83.6%
    CMMLU 抽样 300/11582 80.7%
    HELLASWAG 抽样 200/10042 93.0%
    TRUTHFULQA 全量 817 84.8%
    ARC_CHALLENGE 抽样 300/1172 96.7%
    WINOGRANDE 抽样 300/1267 79.0%
    GSM8K 抽样 100/1319 91.0%
    HUMANEVAL 全量 164 91.5%
    MBPP 抽样 200/500 80.0%
    LIVECODEBENCH 抽样 100/1055 60.0%
    BBQ 抽样 300/10864 92.7%
    SAFETYBENCH 抽样 300/11435 86.3%

    --- 详情 ---

    模型:Qwen3.8-27B-MTPLX-Optimized-Speed
    基准测试 准确率 正确 总数 Time(s) 思考

    MMLU 83.6% 836 1000 856 否
    CMMLU 80.7% 242 300 93.5 否
    HELLASWAG 93.0% 186 200 82.9 否
    TRUTHFULQA 84.8% 693 817 245.3 否
    ARC_CHALLENGE 96.7% 290 300 106.8 否
    WINOGRANDE 79.0% 237 300 79.7 否
    GSM8K 91.0% 91 100 515 否
    HUMANEVAL 91.5% 150 164 375.9 否
    MBPP 80.0% 160 200 535.2 否
    LIVECODEBENCH 60.0% 60 100 2561 否
    BBQ 92.7% 278 300 86.2 否
    SAFETYBENCH 86.3% 259 300 91 否

    可能是关闭思考的关系,LiveCodeBench测试只拿到了60%
    别的基本都还挺高


  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    另外补充我很喜欢的一点:
    GPU 满载时 GPU功耗也就100W
    仔细听可以听到风扇声音,但也非常轻。环境音下,不特别关注几乎完全注意不到。
    这样就可以很放心的放在家里任何地方,无论是工作室,机房,甚至是卧室。

    Screenshot 2026-09-24 at 11.25.06.png


  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    第一手测试资料:
    先说基准测试 - MLX:
    Qwen3.8-27B-MLX-6bit (模型 22.8G)
    目前四档实测
    Context Prefill Decode Peak Memory 512 tokens总时间
    8K 921.3 tok/s 23.17 tok/s 25.26 GB 30.9 s
    32K 845.4 tok/s 21.62 tok/s 26.87 GB 62.5 s
    128K 596.8 tok/s 16.69 tok/s 33.69 GB 248.8 s
    256K 436.7 tok/s 13.05 tok/s 42.74 GB 643.7 s

    Qwen3.8-27B-MLX-4bit (模型 16.1G)
    Context Prefill Decode Peak Memory 512 tokens总时间
    8K 985.1 tok/s 31.92 tok/s 18.53 GB 24.3 s
    128K 626.1 tok/s 21.10 tok/s 26.96 GB 231.6 s
    256K 447.2 tok/s 15.49 tok/s 36.01 GB 613.8 s

    基准和网上MacBook M5 Max的测试数据差不多;长上下文内存占用不多,256K 6Bit差不多42G,4Bit36G,还是跑的动,且有冗余20来G分配给系统和Agent等。长上下文是主要耗时还是在Prefill,将近10分钟。


  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    我选Mac Studio M5 Max的理由:

    等M5 Max Studio的原因:

    1. MacBook 14 散热太差其实跑不动M5 Max
    2. MacBook 16 依然很难发挥Max全部能力,同时便携性很差;除非贪他的优秀大屏。
    3. 个人没有很大的移动办公需求;现在出门可以用Telegram远程下指令调配任务,固定的工作站式24*7的服务器模式更合适。已经在用M4的Mac Mini作为小型家庭服务器,体验极佳。
    4. 相比MacBook,相同配置Studio价格更实惠
      -MacBook 16 Max-40GPU,64G,2T-最低标配 - $5,399; 直逼低配Ultra了 ($5,499)
    5. 为什么选这个配置 (40GPU, 64G内存)?
    • 32GPU只有400多G内存带宽;40GPU才有614G (Ultra 统一都是1.2T)
    • 128G内存价格也直逼Ultra低配版了(1T硬盘,$5,399),(96G内存 $5,499; 有这个预算的话,个人建议直接上最低配的Ultra
    • 个人暂时没有音视频工作流的打算,如果有大多也不会选Mac吧;多开还是Ultra高带宽高内存更好;当然有钱啥都不是事儿;综合考量着现在这个价位能跑本地Qwen3.8-27B游刃有余,可坚固日常办公Agent任务需求;是很好的中间位
    • 缺货问题。现在我这边Max 128G是期货,待机1个月+
      Screenshot 2026-09-24 at 10.58.03.png
      ; Ultra 低配待机已经超过2个月
      Screenshot 2026-09-24 at 10.59.10.png
      ;

  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    @terry 好的,第一次发帖,只是想要share一些资讯。想要回去编辑原发帖内容,但是因为只是被扣了声望,操作无法执行,所以只能补在回帖里而已。


  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    被扣了声望,原贴想要修改编辑也不能了。

    补上一些吧:

    刚看到的Mac MinMaxH3 优化后MacBook 高配生视频介绍。
    Mac Studio上线后有两个屌丝位:
    M5Max 40GPU 614G带宽 64G内存 $3799 (1T硬盘)
    M5Ultra 64GPU 1.2T带宽 96G内存 $5499 (1T硬盘)

    目标如果是架设本地AI Qwen3.8-27B(35B)
    偶尔有少许文生图,或少量视频生成需求,是不是会成为这个巨大的硬件甜点位?


  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    只是分享一个刚看到的信息而已,本人不是原作者,也不是什么推广。
    一直比较关注Mac生态罢了;受不了PC。

    分享给大家品品靠不靠谱而已;毕竟新的Mac Studio上来了一大波硬件


  • Mac生态跑文生图视频以有可能了吗?M5 Max 40GPU 64G
    F fsclsnow
    AI硬件 mac apple-m5 视频生成

    视频搬运工:
    Youtube Video

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组