明天到货!单台 M5 Ultra 512GB 硬刚四台 DGX Spark,DeepSeek V4.1 Flash 1017 正面对照,结果敬请期待
-
-
-
-
过去好久了。催更啦!
速度更新啊。不要浪费大家的感情。
M5 Ultra 512GB 到底什么实力,整的药都吃好了,叫的货一直不上门! -
-
-
-
@benton-yi 问下Spark tp4测试的脚手架和数据是采用项目:https://github.com/FujitsuPolycom/sparkring 中的llm-inference-bench?目前mlx-serve 这边的 llmprobe 统计口径好像不太一样,不懂是我的问题还是测试工具的问题,我在研究下~
-
,系统 取消固定了此主题
-
单台 Mac MacStudio与四台 DGX Spark 推理性能测试记录
[!abstract] 结果摘要
按本次提供的两轮中位数,单台 MacStudio的单流解码总吞吐达到四台 Spark 的 93.4%;并发增加至 16 路时,该比例降至 52.8%。冷态 scout prefill 的端到端有效输入吞吐达到四台 Spark 的 67.9%~86.4%。MacStudio结果仍待独立验收确认。一. 数据来源与验收状态
本文根据用户提供的实测数据整理,未重新运行测试,也未核验原始日志。
- 参考原项目:https://github.com/FujitsuPolycom/sparkring
- 两套部署的数据均为两轮测试的中位数。
- MacStudio使用
ddalcu/mlx-serve,版本为26.11.2-metric01。 - 该版本基于官方
26.11.2,加入连续usage输出补丁。
二. 测试环境
项目 单台 MacStudio 四台 Spark(SparkRing) 硬件 单台 Mac Studio,M5 Ultra,512 GiB 四台 DGX Spark 部署拓扑 单机 TP4 环形互联;TP4 指四路张量并行 模型 1017 的 MLX oQ4e-mtp,权重 432.033GB官方 1017 FP8/MXFP4 权重 推理引擎 ddalcu/mlx-serve,26.11.2-metric01vLLM/SparkRing,具体版本未提供 引擎改动 官方 26.11.2加入连续usage输出补丁未提供 测试工具 固定 bench 0.7.6同版 bench 0.7.6测试方式 持续解码+integrated scout 同类持续解码+scout 统计方式 两轮中位数 两轮中位数 [!warning] 对比边界
本次比较的是两套完整部署,不是同权重、同量化、同引擎的硬件对照实验。模型量化、推理引擎和部署拓扑均有差异,因此不能将性能差异全部归因于硬件。模型名称中的mtp不足以证明测试时启用了多 token 预测;原始材料未提供相关运行参数。三. 测试指标与口径
1. 解码总吞吐
解码是逐步生成输出 token 的阶段。本文按原始材料记录所有并发流的输出总吞吐,单位为输出 token/s,而非每条流的吞吐。
测试覆盖 1、8、16 路并发。原始材料未提供解码统计窗口、输出长度和总吞吐的具体聚合公式,因此不补写这些细节。
2. 冷态 scout prefill
Prefill 是处理输入 token、建立后续生成所需状态的阶段。本次指标采用客户端首字时间计算:
有效输入吞吐(输入 token/s)=输入 token 数 ÷ 客户端首字时间(秒)客户端首字时间包含首 token 和请求传输开销。因此,该指标是端到端有效输入吞吐,不是纯引擎 prefill 吞吐。
测试覆盖 8K、64K、128K 输入长度。原始材料没有说明 K 的精确换算方式,也没有给出“冷态”的缓存清理和预热规则。
3. 相对性能
MacStudio相对比例=MacStudio吞吐 ÷ 四台 Spark 吞吐 × 100% 四台 Spark 倍数=四台 Spark 吞吐 ÷ MacStudio吞吐下表的比例按一位小数呈现,倍数按两位小数呈现。
四. 解码测试数据
单位:输出 token/s。各吞吐值均为两轮中位数。
并发流数 单台 MacStudio 四台 Spark MacStudio达到四台 Spark 的比例 四台 Spark 相对 MacStudio的倍数 1 57.16 61.20 93.4% 1.07 倍 8 122.21 194.90 62.7% 1.60 倍 16 145.38 275.16 52.8% 1.89 倍 单流时,两套部署的解码总吞吐接近。并发升高后,四台 Spark 的总吞吐优势扩大:8 路约为 MacStudio的 1.60 倍,16 路约为 1.89 倍。
这些数据描述总吞吐,不直接代表单请求延迟或并发流之间的公平性。原始材料未提供逐流吞吐和延迟分布。
五. 冷态 scout prefill 测试数据
单位:输入 token/s。各吞吐值均为两轮中位数,按输入 token 数除以客户端首字时间计算。
输入长度 单台 MacStudio 四台 Spark MacStudio达到四台 Spark 的比例 四台 Spark 相对 MacStudio的倍数 8K 2,883 4,248 67.9% 1.47 倍 64K 3,559.5 4,279 83.2% 1.20 倍 128K 3,504 4,056.5 86.4% 1.16 倍 四台 Spark 在三个输入长度下均领先。输入长度由 8K 增加至 128K 时,MacStudio的相对比例从 67.9% 增加至 86.4%,两套部署的相对差距缩小。
两套部署在 128K 下的有效输入吞吐均低于 64K。现有数据不足以判断具体原因,也不足以区分引擎处理、请求传输和其他首字时间开销的贡献。
六. 结论与独立验收所需信息
本次数据支持以下结论:
- 单流解码接近。MacStudio为 57.16 输出 token/s,四台 Spark 为 61.20 输出 token/s。
- 并发解码差距扩大。16 路时,四台 Spark 的总吞吐约为 MacStudio的 1.89 倍。
- 长输入下的相对差距缩小。128K 冷态 scout 测试中,MacStudio达到四台 Spark 的 86.4%。
上述结论仅适用于本次部署和测试口径。两轮中位数不能提供稳定的波动范围,也不能替代独立验收。
独立验收应补齐以下信息:
项目 需要补齐的内容 硬件与系统 完整硬件配置、操作系统版本、互联配置及测试时运行状态 模型 完整模型标识、权重版本或校验值、量化配置 引擎 两端精确版本或提交号、MacStudio补丁 diff、启动参数 推理设置 是否启用多 token 预测或推测解码,以及相关参数 测试命令 bench 0.7.6完整命令、输入样本、输出长度和并发设置测量口径 解码统计窗口与聚合方式、首字时间起止点、冷态缓存与预热规则 原始证据 两轮各自的结果、请求级日志和连续 usage输出验收结果 独立复跑记录,以及是否复现本次趋势和数值范围 -
-
单台 Mac MacStudio与四台 DGX Spark 推理性能测试记录
[!abstract] 结果摘要
按本次提供的两轮中位数,单台 MacStudio的单流解码总吞吐达到四台 Spark 的 93.4%;并发增加至 16 路时,该比例降至 52.8%。冷态 scout prefill 的端到端有效输入吞吐达到四台 Spark 的 67.9%~86.4%。MacStudio结果仍待独立验收确认。一. 数据来源与验收状态
本文根据用户提供的实测数据整理,未重新运行测试,也未核验原始日志。
- 参考原项目:https://github.com/FujitsuPolycom/sparkring
- 两套部署的数据均为两轮测试的中位数。
- MacStudio使用
ddalcu/mlx-serve,版本为26.11.2-metric01。 - 该版本基于官方
26.11.2,加入连续usage输出补丁。
二. 测试环境
项目 单台 MacStudio 四台 Spark(SparkRing) 硬件 单台 Mac Studio,M5 Ultra,512 GiB 四台 DGX Spark 部署拓扑 单机 TP4 环形互联;TP4 指四路张量并行 模型 1017 的 MLX oQ4e-mtp,权重 432.033GB官方 1017 FP8/MXFP4 权重 推理引擎 ddalcu/mlx-serve,26.11.2-metric01vLLM/SparkRing,具体版本未提供 引擎改动 官方 26.11.2加入连续usage输出补丁未提供 测试工具 固定 bench 0.7.6同版 bench 0.7.6测试方式 持续解码+integrated scout 同类持续解码+scout 统计方式 两轮中位数 两轮中位数 [!warning] 对比边界
本次比较的是两套完整部署,不是同权重、同量化、同引擎的硬件对照实验。模型量化、推理引擎和部署拓扑均有差异,因此不能将性能差异全部归因于硬件。模型名称中的mtp不足以证明测试时启用了多 token 预测;原始材料未提供相关运行参数。三. 测试指标与口径
1. 解码总吞吐
解码是逐步生成输出 token 的阶段。本文按原始材料记录所有并发流的输出总吞吐,单位为输出 token/s,而非每条流的吞吐。
测试覆盖 1、8、16 路并发。原始材料未提供解码统计窗口、输出长度和总吞吐的具体聚合公式,因此不补写这些细节。
2. 冷态 scout prefill
Prefill 是处理输入 token、建立后续生成所需状态的阶段。本次指标采用客户端首字时间计算:
有效输入吞吐(输入 token/s)=输入 token 数 ÷ 客户端首字时间(秒)客户端首字时间包含首 token 和请求传输开销。因此,该指标是端到端有效输入吞吐,不是纯引擎 prefill 吞吐。
测试覆盖 8K、64K、128K 输入长度。原始材料没有说明 K 的精确换算方式,也没有给出“冷态”的缓存清理和预热规则。
3. 相对性能
MacStudio相对比例=MacStudio吞吐 ÷ 四台 Spark 吞吐 × 100% 四台 Spark 倍数=四台 Spark 吞吐 ÷ MacStudio吞吐下表的比例按一位小数呈现,倍数按两位小数呈现。
四. 解码测试数据
单位:输出 token/s。各吞吐值均为两轮中位数。
并发流数 单台 MacStudio 四台 Spark MacStudio达到四台 Spark 的比例 四台 Spark 相对 MacStudio的倍数 1 57.16 61.20 93.4% 1.07 倍 8 122.21 194.90 62.7% 1.60 倍 16 145.38 275.16 52.8% 1.89 倍 单流时,两套部署的解码总吞吐接近。并发升高后,四台 Spark 的总吞吐优势扩大:8 路约为 MacStudio的 1.60 倍,16 路约为 1.89 倍。
这些数据描述总吞吐,不直接代表单请求延迟或并发流之间的公平性。原始材料未提供逐流吞吐和延迟分布。
五. 冷态 scout prefill 测试数据
单位:输入 token/s。各吞吐值均为两轮中位数,按输入 token 数除以客户端首字时间计算。
输入长度 单台 MacStudio 四台 Spark MacStudio达到四台 Spark 的比例 四台 Spark 相对 MacStudio的倍数 8K 2,883 4,248 67.9% 1.47 倍 64K 3,559.5 4,279 83.2% 1.20 倍 128K 3,504 4,056.5 86.4% 1.16 倍 四台 Spark 在三个输入长度下均领先。输入长度由 8K 增加至 128K 时,MacStudio的相对比例从 67.9% 增加至 86.4%,两套部署的相对差距缩小。
两套部署在 128K 下的有效输入吞吐均低于 64K。现有数据不足以判断具体原因,也不足以区分引擎处理、请求传输和其他首字时间开销的贡献。
六. 结论与独立验收所需信息
本次数据支持以下结论:
- 单流解码接近。MacStudio为 57.16 输出 token/s,四台 Spark 为 61.20 输出 token/s。
- 并发解码差距扩大。16 路时,四台 Spark 的总吞吐约为 MacStudio的 1.89 倍。
- 长输入下的相对差距缩小。128K 冷态 scout 测试中,MacStudio达到四台 Spark 的 86.4%。
上述结论仅适用于本次部署和测试口径。两轮中位数不能提供稳定的波动范围,也不能替代独立验收。
独立验收应补齐以下信息:
项目 需要补齐的内容 硬件与系统 完整硬件配置、操作系统版本、互联配置及测试时运行状态 模型 完整模型标识、权重版本或校验值、量化配置 引擎 两端精确版本或提交号、MacStudio补丁 diff、启动参数 推理设置 是否启用多 token 预测或推测解码,以及相关参数 测试命令 bench 0.7.6完整命令、输入样本、输出长度和并发设置测量口径 解码统计窗口与聚合方式、首字时间起止点、冷态缓存与预热规则 原始证据 两轮各自的结果、请求级日志和连续 usage输出验收结果 独立复跑记录,以及是否复现本次趋势和数值范围 -
-
@xiongjie-gao 是真的安静~~,我旁边的4090+4080sx2吵得怀疑人生,已经被我关进小黑屋了
-
@benton-yi 问下Spark tp4测试的脚手架和数据是采用项目:https://github.com/FujitsuPolycom/sparkring 中的llm-inference-bench?目前mlx-serve 这边的 llmprobe 统计口径好像不太一样,不懂是我的问题还是测试工具的问题,我在研究下~
@benton-yi 问下Spark tp4测试的脚手架和数据是采用项目:https://github.com/FujitsuPolycom/sparkring 中的llm-inference-bench?

没错,就是这个。
-
@benton-yi 问下Spark tp4测试的脚手架和数据是采用项目:https://github.com/FujitsuPolycom/sparkring 中的llm-inference-bench?

没错,就是这个。
-
-
-
速度应该和功耗有个比较。
两者的功耗比,辛苦有空的时候做个比较。 -
-
本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!

