明天到货!单台 M5 Ultra 512GB 硬刚四台 DGX Spark,DeepSeek V4.1 Flash 1017 正面对照,结果敬请期待
-
这次打算跑的是 ngram 版,Engram 保留原 FP8(8-bit),主网络和 oQ4e 一样。落盘 511.9 GB,超过整机 512 GB,得靠 Engram 卸载到 SSD补充一下这次的模型信息。
这次要跑的是 mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp。
底子是 DeepSeek V4.1 Flash 1017(763.2B 参数),主网络保留原 FP4/FP8 混合精度,和 oQ4e 版完全一致;唯一差别是 Engram 表保留原 FP8,不做 4-bit 量化。选它就是为了让 Engram 精度和四台 Spark 那边对齐,不然对比出来的是量化条件的差异,不是机器。
几个数字:落盘 511.9 GB(476.8 GiB),整包平均 5.37 bit/weight;其中 Engram 表 202.8 GB,可以卸载到 SSD;卸载后常驻权重约 287.918 GiB,和 4-bit 版几乎一样。注意 511.9 GB 已经超过 512 GB 的标称内存,这个包必须靠 Engram 放 SSD 按需读取才能跑起来,这也是到货后要首先验证的东西之一。
包里带 DSpark 投机解码头,开启和关闭都会测。
另外说明一下,这个 ngram 版本目前没有公开的 M5 Ultra 实测数据,前面社区那组 Mac 成绩是用 4-bit Engram 版跑的,所以不能直接套过来,具体数值得本机跑出来才算。
模型卡:https://huggingface.co/mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp 才能跑起来,卸掉后常驻权重约 288 GiB。这样 Engram 精度和四台 Spark 对齐,比出来的差距才是硬件的。
-
-
-
搬把小凳子,且看关公战秦琼
-
,
T terry 固定了此主题
-
可以试跑下EXO系统
-
m3ultra 512g 用ds4引擎 1017 版本 跑mxfp4 精度 40 tok/s
-
-
-
-
-
-
-
-
-
-
过去好久了。催更啦!
速度更新啊。不要浪费大家的感情。
M5 Ultra 512GB 到底什么实力,整的药都吃好了,叫的货一直不上门! -
-
-
-
@benton-yi 问下Spark tp4测试的脚手架和数据是采用项目:https://github.com/FujitsuPolycom/sparkring 中的llm-inference-bench?目前mlx-serve 这边的 llmprobe 统计口径好像不太一样,不懂是我的问题还是测试工具的问题,我在研究下~
-
,系统 取消固定了此主题
版主审定:本帖设为精华,作者 +6 积分奖励,希望再接再厉!
本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!
