跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 明天到货!单台 M5 Ultra 512GB 硬刚四台 DGX Spark,DeepSeek V4.1 Flash 1017 正面对照,结果敬请期待

明天到货!单台 M5 Ultra 512GB 硬刚四台 DGX Spark,DeepSeek V4.1 Flash 1017 正面对照,结果敬请期待

已定时 已固定 已锁定 已移动 精华 热议 AI硬件
apple-m5dgxsparkdeepseek
41 帖子 15 发布者 1.3k 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • cc tgoC
    cc tgoC
    cc tgo
    贵族大夫 硕果累累
    编写于 最后由 编辑
    #9

    我除了想知道这个测试,更想知道两台256G是不是会比单台512g更快些。让我后续也有个念想。大佬你要不再弄两台256G, 我一定围观捧场。😍

    terryT 1 条回复 最后回复
    1
    • kos orK
      kos orK
      kos or
      至尊皇帝
      编写于 最后由 编辑
      #10

      會不會是我們LCZ論壇上 首位突破1TB Unified Memory的重裝備玩家 太猛了

      1 条回复 最后回复
      0
      • terryT
        terryT
        terry
        易有太极
        编写于 最后由 编辑
        #11

        @benton yi 说:

        关注一波。当前时间节点的LLM成绩个人推测是单输出m5u小负,高并发m5u大负,半年后单输出m5u小胜,高并发m5u小负。苹果ai生态的潜力大

        我哥你的dgx去跑下h3比赛啊

        油管:https://www.youtube.com/@抡锤者

        1 条回复 最后回复
        0
        • ivan lanI
          ivan lanI
          ivan lan
          贵族大夫
          编写于 最后由 编辑
          #12

          汇报下进度:昨天到货了,刚好周末,先陪下老婆孩子,今天开始搞

          1 条回复 最后回复
          1
          • Michael ZHANGM
            Michael ZHANGM
            Michael ZHANG
            硕果累累 体面乡绅
            编写于 最后由 编辑
            #13

            坐等楼主测试报告。

            1 条回复 最后回复
            0
            • A
              A
              aaronku
              编写于 最后由 编辑
              #14

              有没有人做做 AI 395 MAX啊 我手头刚好有两台 还有 2张R9700 到底要做什么优先啊

              terryT 1 条回复 最后回复
              0
              • XiaoteX
                XiaoteX
                Xiaote
                易有太极
                编写于 最后由 编辑
                #15

                🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!

                奖励凭证:热议 +3 分 · 编号 h3067-4386-1

                老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                1 条回复 最后回复
                0
                • A aaronku

                  有没有人做做 AI 395 MAX啊 我手头刚好有两台 还有 2张R9700 到底要做什么优先啊

                  terryT
                  terryT
                  terry
                  易有太极
                  编写于 最后由 编辑
                  #16

                  @aaronku 你去看看 @bunsei 的帖子,什么都能做。

                  油管:https://www.youtube.com/@抡锤者

                  1 条回复 最后回复
                  1
                  • williamlouisW
                    williamlouisW
                    williamlouis
                    易有太极
                    编写于 最后由 编辑
                    #17

                    过去好久了。催更啦!
                    速度更新啊。不要浪费大家的感情。
                    M5 Ultra 512GB 到底什么实力,整的药都吃好了,叫的货一直不上门!

                    个人主页:xlkj.org Telegram https://t.me/xlkjorg

                    1 条回复 最后回复
                    0
                    • ivan lanI
                      ivan lanI
                      ivan lan
                      贵族大夫
                      编写于 最后由 编辑
                      #18

                      别催,再搞了

                      CleanShot 2026-11-16 at 22.51.26@2x.jpeg

                      CleanShot 2026-11-16 at 22.52.31@2x.jpeg

                      williamlouisW 1 条回复 最后回复
                      1
                      • 懒人烘培懒
                        懒人烘培懒
                        懒人烘培
                        王侯将相
                        编写于 最后由 编辑
                        #19

                        小板凳已坐起~等待测试报告~

                        双 7900 XTX:模型本地跑,Token 随便烧!

                        1 条回复 最后回复
                        0
                        • ivan lanI ivan lan

                          别催,再搞了

                          CleanShot 2026-11-16 at 22.51.26@2x.jpeg

                          CleanShot 2026-11-16 at 22.52.31@2x.jpeg

                          williamlouisW
                          williamlouisW
                          williamlouis
                          易有太极
                          编写于 最后由 编辑
                          #20

                          @ivan-lan 边测试边播片了?

                          个人主页:xlkj.org Telegram https://t.me/xlkjorg

                          1 条回复 最后回复
                          0
                          • ivan lanI
                            ivan lanI
                            ivan lan
                            贵族大夫
                            编写于 最后由 编辑
                            #21

                            @benton-yi 问下Spark tp4测试的脚手架和数据是采用项目:https://github.com/FujitsuPolycom/sparkring 中的llm-inference-bench?目前mlx-serve 这边的 llmprobe 统计口径好像不太一样,不懂是我的问题还是测试工具的问题,我在研究下~

                            benton yiB 1 条回复 最后回复
                            0
                            • ,系统 取消固定了此主题
                            • ivan lanI
                              ivan lanI
                              ivan lan
                              贵族大夫
                              编写于 最后由 编辑
                              #22

                              单台 Mac MacStudio与四台 DGX Spark 推理性能测试记录

                              [!abstract] 结果摘要
                              按本次提供的两轮中位数,单台 MacStudio的单流解码总吞吐达到四台 Spark 的 93.4%;并发增加至 16 路时,该比例降至 52.8%。冷态 scout prefill 的端到端有效输入吞吐达到四台 Spark 的 67.9%~86.4%。MacStudio结果仍待独立验收确认。

                              一. 数据来源与验收状态

                              本文根据用户提供的实测数据整理,未重新运行测试,也未核验原始日志。

                              • 参考原项目:https://github.com/FujitsuPolycom/sparkring
                              • 两套部署的数据均为两轮测试的中位数。
                              • MacStudio使用 ddalcu/mlx-serve,版本为 26.11.2-metric01。
                              • 该版本基于官方 26.11.2,加入连续 usage 输出补丁。

                              二. 测试环境

                              项目 单台 MacStudio 四台 Spark(SparkRing)
                              硬件 单台 Mac Studio,M5 Ultra,512 GiB 四台 DGX Spark
                              部署拓扑 单机 TP4 环形互联;TP4 指四路张量并行
                              模型 1017 的 MLX oQ4e-mtp,权重 432.033GB 官方 1017 FP8/MXFP4 权重
                              推理引擎 ddalcu/mlx-serve,26.11.2-metric01 vLLM/SparkRing,具体版本未提供
                              引擎改动 官方 26.11.2 加入连续 usage 输出补丁 未提供
                              测试工具 固定 bench 0.7.6 同版 bench 0.7.6
                              测试方式 持续解码+integrated scout 同类持续解码+scout
                              统计方式 两轮中位数 两轮中位数

                              [!warning] 对比边界
                              本次比较的是两套完整部署,不是同权重、同量化、同引擎的硬件对照实验。模型量化、推理引擎和部署拓扑均有差异,因此不能将性能差异全部归因于硬件。模型名称中的 mtp 不足以证明测试时启用了多 token 预测;原始材料未提供相关运行参数。

                              三. 测试指标与口径

                              1. 解码总吞吐

                              解码是逐步生成输出 token 的阶段。本文按原始材料记录所有并发流的输出总吞吐,单位为输出 token/s,而非每条流的吞吐。

                              测试覆盖 1、8、16 路并发。原始材料未提供解码统计窗口、输出长度和总吞吐的具体聚合公式,因此不补写这些细节。

                              2. 冷态 scout prefill

                              Prefill 是处理输入 token、建立后续生成所需状态的阶段。本次指标采用客户端首字时间计算:

                              有效输入吞吐(输入 token/s)=输入 token 数 ÷ 客户端首字时间(秒)
                              

                              客户端首字时间包含首 token 和请求传输开销。因此,该指标是端到端有效输入吞吐,不是纯引擎 prefill 吞吐。

                              测试覆盖 8K、64K、128K 输入长度。原始材料没有说明 K 的精确换算方式,也没有给出“冷态”的缓存清理和预热规则。

                              3. 相对性能

                              MacStudio相对比例=MacStudio吞吐 ÷ 四台 Spark 吞吐 × 100%
                              四台 Spark 倍数=四台 Spark 吞吐 ÷ MacStudio吞吐
                              

                              下表的比例按一位小数呈现,倍数按两位小数呈现。

                              四. 解码测试数据

                              单位:输出 token/s。各吞吐值均为两轮中位数。

                              并发流数 单台 MacStudio 四台 Spark MacStudio达到四台 Spark 的比例 四台 Spark 相对 MacStudio的倍数
                              1 57.16 61.20 93.4% 1.07 倍
                              8 122.21 194.90 62.7% 1.60 倍
                              16 145.38 275.16 52.8% 1.89 倍

                              单流时,两套部署的解码总吞吐接近。并发升高后,四台 Spark 的总吞吐优势扩大:8 路约为 MacStudio的 1.60 倍,16 路约为 1.89 倍。

                              这些数据描述总吞吐,不直接代表单请求延迟或并发流之间的公平性。原始材料未提供逐流吞吐和延迟分布。

                              五. 冷态 scout prefill 测试数据

                              单位:输入 token/s。各吞吐值均为两轮中位数,按输入 token 数除以客户端首字时间计算。

                              输入长度 单台 MacStudio 四台 Spark MacStudio达到四台 Spark 的比例 四台 Spark 相对 MacStudio的倍数
                              8K 2,883 4,248 67.9% 1.47 倍
                              64K 3,559.5 4,279 83.2% 1.20 倍
                              128K 3,504 4,056.5 86.4% 1.16 倍

                              四台 Spark 在三个输入长度下均领先。输入长度由 8K 增加至 128K 时,MacStudio的相对比例从 67.9% 增加至 86.4%,两套部署的相对差距缩小。

                              两套部署在 128K 下的有效输入吞吐均低于 64K。现有数据不足以判断具体原因,也不足以区分引擎处理、请求传输和其他首字时间开销的贡献。

                              六. 结论与独立验收所需信息

                              本次数据支持以下结论:

                              • 单流解码接近。MacStudio为 57.16 输出 token/s,四台 Spark 为 61.20 输出 token/s。
                              • 并发解码差距扩大。16 路时,四台 Spark 的总吞吐约为 MacStudio的 1.89 倍。
                              • 长输入下的相对差距缩小。128K 冷态 scout 测试中,MacStudio达到四台 Spark 的 86.4%。

                              上述结论仅适用于本次部署和测试口径。两轮中位数不能提供稳定的波动范围,也不能替代独立验收。

                              独立验收应补齐以下信息:

                              项目 需要补齐的内容
                              硬件与系统 完整硬件配置、操作系统版本、互联配置及测试时运行状态
                              模型 完整模型标识、权重版本或校验值、量化配置
                              引擎 两端精确版本或提交号、MacStudio补丁 diff、启动参数
                              推理设置 是否启用多 token 预测或推测解码,以及相关参数
                              测试命令 bench 0.7.6 完整命令、输入样本、输出长度和并发设置
                              测量口径 解码统计窗口与聚合方式、首字时间起止点、冷态缓存与预热规则
                              原始证据 两轮各自的结果、请求级日志和连续 usage 输出
                              验收结果 独立复跑记录,以及是否复现本次趋势和数值范围
                              xiongjie gaoX 1 条回复 最后回复
                              0
                              • ivan lanI
                                ivan lanI
                                ivan lan
                                贵族大夫
                                编写于 最后由 编辑
                                #23

                                @terry @benton-yi 先给一版,怕兄弟们等着着急

                                1 条回复 最后回复
                                1
                                • ivan lanI ivan lan

                                  单台 Mac MacStudio与四台 DGX Spark 推理性能测试记录

                                  [!abstract] 结果摘要
                                  按本次提供的两轮中位数,单台 MacStudio的单流解码总吞吐达到四台 Spark 的 93.4%;并发增加至 16 路时,该比例降至 52.8%。冷态 scout prefill 的端到端有效输入吞吐达到四台 Spark 的 67.9%~86.4%。MacStudio结果仍待独立验收确认。

                                  一. 数据来源与验收状态

                                  本文根据用户提供的实测数据整理,未重新运行测试,也未核验原始日志。

                                  • 参考原项目:https://github.com/FujitsuPolycom/sparkring
                                  • 两套部署的数据均为两轮测试的中位数。
                                  • MacStudio使用 ddalcu/mlx-serve,版本为 26.11.2-metric01。
                                  • 该版本基于官方 26.11.2,加入连续 usage 输出补丁。

                                  二. 测试环境

                                  项目 单台 MacStudio 四台 Spark(SparkRing)
                                  硬件 单台 Mac Studio,M5 Ultra,512 GiB 四台 DGX Spark
                                  部署拓扑 单机 TP4 环形互联;TP4 指四路张量并行
                                  模型 1017 的 MLX oQ4e-mtp,权重 432.033GB 官方 1017 FP8/MXFP4 权重
                                  推理引擎 ddalcu/mlx-serve,26.11.2-metric01 vLLM/SparkRing,具体版本未提供
                                  引擎改动 官方 26.11.2 加入连续 usage 输出补丁 未提供
                                  测试工具 固定 bench 0.7.6 同版 bench 0.7.6
                                  测试方式 持续解码+integrated scout 同类持续解码+scout
                                  统计方式 两轮中位数 两轮中位数

                                  [!warning] 对比边界
                                  本次比较的是两套完整部署,不是同权重、同量化、同引擎的硬件对照实验。模型量化、推理引擎和部署拓扑均有差异,因此不能将性能差异全部归因于硬件。模型名称中的 mtp 不足以证明测试时启用了多 token 预测;原始材料未提供相关运行参数。

                                  三. 测试指标与口径

                                  1. 解码总吞吐

                                  解码是逐步生成输出 token 的阶段。本文按原始材料记录所有并发流的输出总吞吐,单位为输出 token/s,而非每条流的吞吐。

                                  测试覆盖 1、8、16 路并发。原始材料未提供解码统计窗口、输出长度和总吞吐的具体聚合公式,因此不补写这些细节。

                                  2. 冷态 scout prefill

                                  Prefill 是处理输入 token、建立后续生成所需状态的阶段。本次指标采用客户端首字时间计算:

                                  有效输入吞吐(输入 token/s)=输入 token 数 ÷ 客户端首字时间(秒)
                                  

                                  客户端首字时间包含首 token 和请求传输开销。因此,该指标是端到端有效输入吞吐,不是纯引擎 prefill 吞吐。

                                  测试覆盖 8K、64K、128K 输入长度。原始材料没有说明 K 的精确换算方式,也没有给出“冷态”的缓存清理和预热规则。

                                  3. 相对性能

                                  MacStudio相对比例=MacStudio吞吐 ÷ 四台 Spark 吞吐 × 100%
                                  四台 Spark 倍数=四台 Spark 吞吐 ÷ MacStudio吞吐
                                  

                                  下表的比例按一位小数呈现,倍数按两位小数呈现。

                                  四. 解码测试数据

                                  单位:输出 token/s。各吞吐值均为两轮中位数。

                                  并发流数 单台 MacStudio 四台 Spark MacStudio达到四台 Spark 的比例 四台 Spark 相对 MacStudio的倍数
                                  1 57.16 61.20 93.4% 1.07 倍
                                  8 122.21 194.90 62.7% 1.60 倍
                                  16 145.38 275.16 52.8% 1.89 倍

                                  单流时,两套部署的解码总吞吐接近。并发升高后,四台 Spark 的总吞吐优势扩大:8 路约为 MacStudio的 1.60 倍,16 路约为 1.89 倍。

                                  这些数据描述总吞吐,不直接代表单请求延迟或并发流之间的公平性。原始材料未提供逐流吞吐和延迟分布。

                                  五. 冷态 scout prefill 测试数据

                                  单位:输入 token/s。各吞吐值均为两轮中位数,按输入 token 数除以客户端首字时间计算。

                                  输入长度 单台 MacStudio 四台 Spark MacStudio达到四台 Spark 的比例 四台 Spark 相对 MacStudio的倍数
                                  8K 2,883 4,248 67.9% 1.47 倍
                                  64K 3,559.5 4,279 83.2% 1.20 倍
                                  128K 3,504 4,056.5 86.4% 1.16 倍

                                  四台 Spark 在三个输入长度下均领先。输入长度由 8K 增加至 128K 时,MacStudio的相对比例从 67.9% 增加至 86.4%,两套部署的相对差距缩小。

                                  两套部署在 128K 下的有效输入吞吐均低于 64K。现有数据不足以判断具体原因,也不足以区分引擎处理、请求传输和其他首字时间开销的贡献。

                                  六. 结论与独立验收所需信息

                                  本次数据支持以下结论:

                                  • 单流解码接近。MacStudio为 57.16 输出 token/s,四台 Spark 为 61.20 输出 token/s。
                                  • 并发解码差距扩大。16 路时,四台 Spark 的总吞吐约为 MacStudio的 1.89 倍。
                                  • 长输入下的相对差距缩小。128K 冷态 scout 测试中,MacStudio达到四台 Spark 的 86.4%。

                                  上述结论仅适用于本次部署和测试口径。两轮中位数不能提供稳定的波动范围,也不能替代独立验收。

                                  独立验收应补齐以下信息:

                                  项目 需要补齐的内容
                                  硬件与系统 完整硬件配置、操作系统版本、互联配置及测试时运行状态
                                  模型 完整模型标识、权重版本或校验值、量化配置
                                  引擎 两端精确版本或提交号、MacStudio补丁 diff、启动参数
                                  推理设置 是否启用多 token 预测或推测解码,以及相关参数
                                  测试命令 bench 0.7.6 完整命令、输入样本、输出长度和并发设置
                                  测量口径 解码统计窗口与聚合方式、首字时间起止点、冷态缓存与预热规则
                                  原始证据 两轮各自的结果、请求级日志和连续 usage 输出
                                  验收结果 独立复跑记录,以及是否复现本次趋势和数值范围
                                  xiongjie gaoX
                                  xiongjie gaoX
                                  xiongjie gao
                                  王侯将相
                                  编写于 最后由 编辑
                                  #24

                                  @ivan-lan 说:

                                  单台 MacStudio的单流解码总吞吐达到四台 Spark 的 93.4%;并发增加至 16 路时,该比例降至 52.8%

                                  就凭这个Mac卖得贵有贵的底气

                                  https://github.com/shawn86574-prog/x99-7900xtx-p2p
                                  https://github.com/shawn86574-prog/kuzuryusen

                                  ivan lanI 1 条回复 最后回复
                                  0
                                  • xiongjie gaoX xiongjie gao

                                    @ivan-lan 说:

                                    单台 MacStudio的单流解码总吞吐达到四台 Spark 的 93.4%;并发增加至 16 路时,该比例降至 52.8%

                                    就凭这个Mac卖得贵有贵的底气

                                    ivan lanI
                                    ivan lanI
                                    ivan lan
                                    贵族大夫
                                    编写于 最后由 ivan lan 编辑
                                    #25

                                    @xiongjie-gao 是真的安静~~,我旁边的4090+4080sx2吵得怀疑人生,已经被我关进小黑屋了

                                    xiongjie gaoX 1 条回复 最后回复
                                    0
                                    • ivan lanI ivan lan

                                      @xiongjie-gao 是真的安静~~,我旁边的4090+4080sx2吵得怀疑人生,已经被我关进小黑屋了

                                      xiongjie gaoX
                                      xiongjie gaoX
                                      xiongjie gao
                                      王侯将相
                                      编写于 最后由 编辑
                                      #26

                                      @ivan-lan 算力机最优雅的打开方式就是锁在温湿合适,隔音良好的小黑屋里供远程调用。
                                      老哥,稳👍

                                      https://github.com/shawn86574-prog/x99-7900xtx-p2p
                                      https://github.com/shawn86574-prog/kuzuryusen

                                      1 条回复 最后回复
                                      1
                                      • ivan lanI ivan lan

                                        @benton-yi 问下Spark tp4测试的脚手架和数据是采用项目:https://github.com/FujitsuPolycom/sparkring 中的llm-inference-bench?目前mlx-serve 这边的 llmprobe 统计口径好像不太一样,不懂是我的问题还是测试工具的问题,我在研究下~

                                        benton yiB
                                        benton yiB
                                        benton yi
                                        王侯将相
                                        编写于 最后由 编辑
                                        #27

                                        @ivan-lan 说:

                                        @benton-yi 问下Spark tp4测试的脚手架和数据是采用项目:https://github.com/FujitsuPolycom/sparkring 中的llm-inference-bench?

                                        image.jpeg

                                        没错,就是这个。

                                        ivan lanI 1 条回复 最后回复
                                        1
                                        • benton yiB benton yi

                                          @ivan-lan 说:

                                          @benton-yi 问下Spark tp4测试的脚手架和数据是采用项目:https://github.com/FujitsuPolycom/sparkring 中的llm-inference-bench?

                                          image.jpeg

                                          没错,就是这个。

                                          ivan lanI
                                          ivan lanI
                                          ivan lan
                                          贵族大夫
                                          编写于 最后由 编辑
                                          #28

                                          @benton-yi 那就对上了~

                                          1 条回复 最后回复
                                          1

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组