跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. M5 Ultra 512G VS 4 DGX Spark,LLM & Comfyui对比,英伟达能力更强但论坛网友更偏爱苹果方案~

M5 Ultra 512G VS 4 DGX Spark,LLM & Comfyui对比,英伟达能力更强但论坛网友更偏爱苹果方案~

已定时 已固定 已锁定 已移动 AI硬件
apple-m5dgxsparkcomfyui
7 帖子 4 发布者 266 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT
    terryT
    terry
    易有太极
    编写于 最后由 编辑
    #1

    白居易在《琵琶行》中怎么说的?千呼万唤始出来,犹抱琵琶半遮面。我们论坛的大神 @ivan-lan ,也是新来的哥们,土豪一个。他就买了一个M5 Ultra 512G,说要挑战我们论坛大神的DGX Spark,四台1V4看看效果如何。跑的版本是DeepSeek V4.1 Flash 1017。

    然后我们看一下挑战的帖子。我们论坛的 @benton-yi 老兄发过两个帖子,编号是2946,大家可以找一下,原始的母帖地址也在这里,点一下就可以去看。他是4个DGX Spark,没有使用交换机,使用的是环形拓扑,就一个简单的拓扑结构。跑的推理框架叫SparkRing,是vLLM的一个分支,上面好像自带一个Benchmark,跑的就是DeepSeek V4.1 Flash。他之前跑的是老版本,最近发的帖子是8天前发的,跑的是1017版本,也是最新版本。

    M5 Ultra 51G VS  DGX Spark.jpeg

    然后他当时测试的结果,我们简单总结一下,就是相当牛逼。他当时好像跑了10路、512K上下文,是可以扛住的。10路有点极限了,可能会有点掉速,那么8路是非常从容的,上下文可以拉满,而且它的吞吐、延迟、Prefill速度都相当牛逼。你看上下文从最短到512K,它都发出了明确的数据,无论是Prefill还是Decode,体验都相当不错,大家可以参考一下。讲实话,这个4台DGX Spark的方案做好了,体验跟官方在线API的差距基本微乎其微,可以平替它。而且它跑的就是官方原版的NVFP4和FP8混合版本,所以它吃到了所有红利。

    这个方案他当时买的时候是4台,大概花了13万左右,前面两台便宜一点,后面两台贵一点。现在这个方案可能值20万,20万出头,就跟苹果的M5 Ultra差不多了。其实到了20万级别,或者20万以上,这点差价对于这些土豪来讲基本可以忽略不计。那么Ivan Lan到货之后又整了一下进度,毕竟有些软件要对齐一下,最起码Benchmark要对齐嘛。但是你看他也发了自己的主机信息,还有工作环境,一看就是个土豪。他怕大家等急了,就先发了个版本,大概信息都给到了,但是没有达到帖子关注度所期望的那样。我觉得发得有点拉,可能以后单独发一个帖子吧。

    双DGX Spark.jpg

    总体来说,我们想要的信息其实都有了。他现在测试的是单台M5 Ultra Studio,M5 Ultra 512G版本,跑的也是DeepSeek V4.1 Flash 1017,只不过跑的是MLX适配版本。这个也是完整版,不是阉割版,你看权重就知道了,是Q4 MXFP4版本。那个Benton Yi老哥跑的是官方版本。推理引擎的话,M5 Ultra上面跑的是MLX Serve这个新的推理引擎。我们论坛另外一个有M5 Ultra 256G版本的CC Tgo老兄也推荐用MLX Serve这个推理引擎。

    测试方法我觉得也是比较科学的,两轮测试取中位数,这个比较公平。而且他是苹果平台来适配我们Benton Yi老兄的英伟达平台Benchmark,数据非常有参考性。直接上结果吧,他自己也总结了:单流并发的时候,M5 Ultra 512G相当于4台DGX Spark的93.48%;并发相当于62.7%;16并发相当于52.8%。这个作为M5这个机器来讲,我觉得已经值回票价了。毕竟它不仅仅可以跑AI,现在跑视频也是可以的,然后办公各方面它都是一个全能的机器。这个机器再过三五年再卖,还是很值钱。Spark后期可能残值稍微低一点,但是它是Blackwell架构,踩到了NVFP4这个比较重要的红利,也包括FP8。DeepSeek、GLM等等开源大模型,在未来很长一段时间还是会非常好地适配这个生态,所以残值我个人觉得还是可以的,虽然不能跟苹果比。

    DGX Spark 1.jpg

    那么总体上来讲,英伟达的方案是更有性价比,但是苹果胜在逼格,胜在通用。这个Prefill,冷启动Prefill也可以看出来,还是4台DGX Spark领先,分别是1.47倍、1.20倍、1.16倍。然后我们再说一下跑ComfyUI,现在有h3.c,@cc-tgo 也发了不少测试视频,也分享了工作流,大家可以去找CC Tgo老兄的帖子。现在在M5 Ultra、M5 Max上面都可以跑。哦,对了,M5 Max也有人测试,这位叫@fsclsnow 的兄弟用的是M5 Max 64GB,他也能跑,效率还不错。当然Ultra肯定要牛逼得多,但是Ultra可能比单台DGX Spark跑视频快。不过毕竟要对比方案的话,这个价格只能对比4个DGX Spark。在并行生产的时候,还是4个DGX Spark更有性价比,毕竟英伟达的优化就不用多提了。

    而且从跑出来的效果来讲,我们必须说,h3.c跑出来的视频效果有点拉。它在动作比较激烈的时候,有肉眼能看出来的马赛克效应。当然了,我个人认为可能跟推理引擎本身的优化状态有关系。苹果的生态太好了,这个问题以后应该比较容易解决。不过从硬性的算力上来讲,M5 Max比DGX Spark算力要差。M5 Ultra就是两个Spark,大概相当于两个DGX Spark的算力。如果跟4个DGX Spark比并行任务,它天然是落后的。

    但是论坛这些土豪们、这些大神们,都是比较倾向于苹果方案。为什么呢?因为逼格比较高,一个小盒子放到桌子上,非常安静,这么高逼格的小主机谁不想拥有呢?包括我在内,我也希望有个M5 Ultra。但是贫穷让我安分守己,我摸一摸自己的肾,也只剩下一个了。唉,就这样吧。我从Bunsei老兄那里整了个二手硬件,比新的毕竟便宜一些。但我认真看了一下价格,Bunsei老兄你给我的价格也不是很优惠啊。我以为凭借我们的感情,能够有相当大的优惠,没想到终究还是一场交易。好吧,缘分就到这里了,我也比较悲伤。

    DDR5内存条.avif

    最近大家发了很多优秀的帖子,我就躺平。我不是说了嘛,我准备把镇上的房子好好弄一弄,现在还在交割中,里面还住着人家。交割之后还要稍微装修一下。我本人对于环境的要求不是很高,去镇上住有好处,就是能有独立的机房,把服务器放到里面就不那么吵了。然后一个人搭拍摄场景,搭配不同的拍摄环境也比较方便,而且我不用担心家里人在客厅走来走去会吵到我。

    等我忙完之后,肯定还是那句话,先把ComfyUI的生态给它搞起来。最近论坛的ComfyUI生态如火如荼,非常不错,形势非常好。大模型呢,我也会抽时间展示一些自动工作流,因为我要给大家展示使用AI为主力、然后我自己参与审核的这么一种方式,做一个新的频道,并且赚到钱,全程直播。欢迎大家关注,也欢迎大家到论坛发帖交流讨论。有什么好的项目能够一起做的,我们论坛这些高等级的大神、高设备的大神,有什么项目、有什么交易需求都可以提出来。

    比如说你就想单纯体验一下M5 Ultra 256G或者512G,可以问一下,到论坛问一问CC Tgo,问一问刚才这位大神,看看他们租不租。Ivan也可以问问,看看他们愿不愿意在闲暇的时候跟你分享一下、出租一下,这些都可以。以后我会开发更多功能,方便大家交流资源。我也会去买一些账号、买一些订阅计划,来分享给论坛的高积分用户,不会让你们的积分只有荣誉价值,它会有实际现实的意义。

    引用帖子:https://lcz.me/topic/3067

    油管:https://www.youtube.com/@抡锤者

    1 条回复 最后回复
    1
    • terryT
      terryT
      terry
      易有太极
      编写于 最后由 编辑
      #2

      Youtube Video

      油管:https://www.youtube.com/@抡锤者

      1 条回复 最后回复
      0
      • xiongjie gaoX
        xiongjie gaoX
        xiongjie gao
        王侯将相
        编写于 最后由 编辑
        #3

        苹果尽管很强。
        但我还是更中意可以解体,可以组合的DGX互联方案,高度自由
        就像可以组合的机器人嘛,六神合体雷霆王
        我来组成头部,我来组织档部……

        https://github.com/shawn86574-prog/x99-7900xtx-p2p
        https://github.com/shawn86574-prog/kuzuryusen

        1 条回复 最后回复
        1
        • kos orK
          kos orK
          kos or
          至尊皇帝
          编写于 最后由 编辑
          #4

          雖然價位高不可攀, 但我對Mac Ultra也心動了 但是無法行動
          還是來看看新版的Macbook Neo 好了

          ivan lanI 1 条回复 最后回复
          0
          • ivan lanI
            ivan lanI
            ivan lan
            贵族大夫
            编写于 最后由 编辑
            #5

            视频点名评判,我得加把劲了~

            1 条回复 最后回复
            1
            • kos orK kos or

              雖然價位高不可攀, 但我對Mac Ultra也心動了 但是無法行動
              還是來看看新版的Macbook Neo 好了

              ivan lanI
              ivan lanI
              ivan lan
              贵族大夫
              编写于 最后由 编辑
              #6

              @kos-or 上车,安静得一批

              1 条回复 最后回复
              0
              • ivan lanI
                ivan lanI
                ivan lan
                贵族大夫
                编写于 最后由 编辑
                #7

                完整测试:https://lcz.me/topic/3184/17

                1 条回复 最后回复
                0

                你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                有了你的建议,这篇帖子会更精彩哦 💗

                注册 登录
                回复
                • 在新帖中回复
                登录后回复
                • 从旧到新
                • 从新到旧
                • 最多赞同


                • 登录

                • 登录或注册以进行搜索。
                • 第一个帖子
                  最后一个帖子
                0
                • 版块
                • 最新
                • 标签
                • 热门
                • 用户
                • 群组