跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 明天到货!单台 M5 Ultra 512GB 硬刚四台 DGX Spark,DeepSeek V4.1 Flash 1017 正面对照,结果敬请期待

明天到货!单台 M5 Ultra 512GB 硬刚四台 DGX Spark,DeepSeek V4.1 Flash 1017 正面对照,结果敬请期待

已定时 已固定 已锁定 已移动 精华 热议 AI硬件
apple-m5dgxsparkdeepseek
41 帖子 15 发布者 1.3k 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • ivan lanI
    ivan lanI
    ivan lan
    贵族大夫
    编写于 最后由 编辑
    #1

    配置:M5 Ultra,36 核 CPU/80 核 GPU,512 GB 统一内存,2TB SSD。

    之前四台 DGX Spark 跑 DeepSeek V4.1 Flash 1017 的数据在这里:

    • 4 DGX Spark DeepSeek V4.1 Flash 1017 版本详细测试数据
    • 4 DGX Spark 跑 DeepSeek V4.1 Flash 实测

    机器到货后,我会用同一模型在 M5 Ultra 512GB 上做同类对照,敬请期待。

    IMG_7217.PNG

    1 条回复 最后回复
    2
    • ivan lanI
      ivan lanI
      ivan lan
      贵族大夫
      编写于 最后由 ivan lan 编辑
      #2

      这次打算跑的是 ngram 版,Engram 保留原 FP8(8-bit),主网络和 oQ4e 一样。落盘 511.9 GB,超过整机 512 GB,得靠 Engram 卸载到 SSD补充一下这次的模型信息。

      这次要跑的是 mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp。

      底子是 DeepSeek V4.1 Flash 1017(763.2B 参数),主网络保留原 FP4/FP8 混合精度,和 oQ4e 版完全一致;唯一差别是 Engram 表保留原 FP8,不做 4-bit 量化。选它就是为了让 Engram 精度和四台 Spark 那边对齐,不然对比出来的是量化条件的差异,不是机器。

      几个数字:落盘 511.9 GB(476.8 GiB),整包平均 5.37 bit/weight;其中 Engram 表 202.8 GB,可以卸载到 SSD;卸载后常驻权重约 287.918 GiB,和 4-bit 版几乎一样。注意 511.9 GB 已经超过 512 GB 的标称内存,这个包必须靠 Engram 放 SSD 按需读取才能跑起来,这也是到货后要首先验证的东西之一。

      包里带 DSpark 投机解码头,开启和关闭都会测。

      另外说明一下,这个 ngram 版本目前没有公开的 M5 Ultra 实测数据,前面社区那组 Mac 成绩是用 4-bit Engram 版跑的,所以不能直接套过来,具体数值得本机跑出来才算。

      模型卡:https://huggingface.co/mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp 才能跑起来,卸掉后常驻权重约 288 GiB。这样 Engram 精度和四台 Spark 对齐,比出来的差距才是硬件的。

      1 条回复 最后回复
      2
      • XiaoteX
        XiaoteX
        Xiaote
        易有太极
        编写于 最后由 编辑
        #3

        ⭐ 版主审定:本帖设为精华,作者 +6 积分奖励,希望再接再厉!

        奖励凭证:精华 +6 分 · 编号 f3067-4386-1

        老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

        1 条回复 最后回复
        0
        • terryT
          terryT
          terry
          易有太极
          编写于 最后由 编辑
          #4

          有人打平安县城,我帮帮场子,先加精。

          油管:https://www.youtube.com/@抡锤者

          1 条回复 最后回复
          0
          • byronduck-jpgB
            byronduck-jpgB
            byronduck-jpg
            编写于 最后由 编辑
            #5

            搬把小凳子,且看关公战秦琼

            1 条回复 最后回复
            0
            • ,terryT terry 固定了此主题
            • xiongjie gaoX
              xiongjie gaoX
              xiongjie gao
              王侯将相
              编写于 最后由 编辑
              #6

              可以试跑下EXO系统

              https://github.com/shawn86574-prog/x99-7900xtx-p2p
              https://github.com/shawn86574-prog/kuzuryusen

              1 条回复 最后回复
              0
              • Grayson RenG
                Grayson RenG
                Grayson Ren
                编写于 最后由 编辑
                #7

                m3ultra 512g 用ds4引擎 1017 版本 跑mxfp4 精度 40 tok/s

                1 条回复 最后回复
                0
                • benton yiB
                  benton yiB
                  benton yi
                  王侯将相
                  编写于 最后由 编辑
                  #8

                  关注一波。当前时间节点的LLM成绩个人推测是单输出m5u小负,高并发m5u大负,半年后单输出m5u小胜,高并发m5u小负。苹果ai生态的潜力大

                  1 条回复 最后回复
                  1
                  • cc tgoC
                    cc tgoC
                    cc tgo
                    贵族大夫 硕果累累
                    编写于 最后由 编辑
                    #9

                    我除了想知道这个测试,更想知道两台256G是不是会比单台512g更快些。让我后续也有个念想。大佬你要不再弄两台256G, 我一定围观捧场。😍

                    terryT 1 条回复 最后回复
                    1
                    • kos orK
                      kos orK
                      kos or
                      至尊皇帝
                      编写于 最后由 编辑
                      #10

                      會不會是我們LCZ論壇上 首位突破1TB Unified Memory的重裝備玩家 太猛了

                      1 条回复 最后回复
                      0
                      • terryT
                        terryT
                        terry
                        易有太极
                        编写于 最后由 编辑
                        #11

                        @benton yi 说:

                        关注一波。当前时间节点的LLM成绩个人推测是单输出m5u小负,高并发m5u大负,半年后单输出m5u小胜,高并发m5u小负。苹果ai生态的潜力大

                        我哥你的dgx去跑下h3比赛啊

                        油管:https://www.youtube.com/@抡锤者

                        1 条回复 最后回复
                        0
                        • ivan lanI
                          ivan lanI
                          ivan lan
                          贵族大夫
                          编写于 最后由 编辑
                          #12

                          汇报下进度:昨天到货了,刚好周末,先陪下老婆孩子,今天开始搞

                          1 条回复 最后回复
                          1
                          • Michael ZHANGM
                            Michael ZHANGM
                            Michael ZHANG
                            硕果累累 体面乡绅
                            编写于 最后由 编辑
                            #13

                            坐等楼主测试报告。

                            1 条回复 最后回复
                            0
                            • A
                              A
                              aaronku
                              编写于 最后由 编辑
                              #14

                              有没有人做做 AI 395 MAX啊 我手头刚好有两台 还有 2张R9700 到底要做什么优先啊

                              terryT 1 条回复 最后回复
                              0
                              • XiaoteX
                                XiaoteX
                                Xiaote
                                易有太极
                                编写于 最后由 编辑
                                #15

                                🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!

                                奖励凭证:热议 +3 分 · 编号 h3067-4386-1

                                老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                                1 条回复 最后回复
                                0
                                • A aaronku

                                  有没有人做做 AI 395 MAX啊 我手头刚好有两台 还有 2张R9700 到底要做什么优先啊

                                  terryT
                                  terryT
                                  terry
                                  易有太极
                                  编写于 最后由 编辑
                                  #16

                                  @aaronku 你去看看 @bunsei 的帖子,什么都能做。

                                  油管:https://www.youtube.com/@抡锤者

                                  1 条回复 最后回复
                                  1
                                  • williamlouisW
                                    williamlouisW
                                    williamlouis
                                    易有太极
                                    编写于 最后由 编辑
                                    #17

                                    过去好久了。催更啦!
                                    速度更新啊。不要浪费大家的感情。
                                    M5 Ultra 512GB 到底什么实力,整的药都吃好了,叫的货一直不上门!

                                    个人主页:xlkj.org Telegram https://t.me/xlkjorg

                                    1 条回复 最后回复
                                    0
                                    • ivan lanI
                                      ivan lanI
                                      ivan lan
                                      贵族大夫
                                      编写于 最后由 编辑
                                      #18

                                      别催,再搞了

                                      CleanShot 2026-11-16 at 22.51.26@2x.jpeg

                                      CleanShot 2026-11-16 at 22.52.31@2x.jpeg

                                      williamlouisW 1 条回复 最后回复
                                      1
                                      • 懒人烘培懒
                                        懒人烘培懒
                                        懒人烘培
                                        王侯将相
                                        编写于 最后由 编辑
                                        #19

                                        小板凳已坐起~等待测试报告~

                                        双 7900 XTX:模型本地跑,Token 随便烧!

                                        1 条回复 最后回复
                                        0
                                        • ivan lanI ivan lan

                                          别催,再搞了

                                          CleanShot 2026-11-16 at 22.51.26@2x.jpeg

                                          CleanShot 2026-11-16 at 22.52.31@2x.jpeg

                                          williamlouisW
                                          williamlouisW
                                          williamlouis
                                          易有太极
                                          编写于 最后由 编辑
                                          #20

                                          @ivan-lan 边测试边播片了?

                                          个人主页:xlkj.org Telegram https://t.me/xlkjorg

                                          1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组