-
@Tony-Wang 没啥卵用,意义不大,256G能跑DSV4 Flash,应该是最好的选择,没有之一。但是为了个大模型花这么多钱,我还是舍不得。ComfyUI能力等于残疾。
-
@Tony-Wang 这个好像比两台dgx spark跑速度快不少是不是?
-
dgx spark 内存带宽只有273G, 两台并行的话, 因为每层的计算结果都要交互, 速度肯定不能按X2 来计算. 而 M5 Ultra 内存带宽是1.2T.
所以, 只看LLM decode 的话, M5 Ultra肯定是要快不少的. Prefill 阶段, 结论就不是很明确了. 等等测试结果吧.
-
@Tony-Wang 没啥卵用,意义不大,256G能跑DSV4 Flash,应该是最好的选择,没有之一。但是为了个大模型花这么多钱,我还是舍不得。ComfyUI能力等于残疾。
-
@Tony-Wang 没啥卵用,意义不大,256G能跑DSV4 Flash,应该是最好的选择,没有之一。但是为了个大模型花这么多钱,我还是舍不得。ComfyUI能力等于残疾。
-
@terry 香港教育优惠 m5 ultra + 256g 人民币 58880 ,512g(如果不调整价格)差不多10w。性能保底能用和spark集群打平,之后生态起来了估计反超。缺点是 m5 设计的架构设计的太早了,精度还以 FP16/INT8 优化为主。估计要到 m7 才会给更实用的硬件原生 4-bit 张量优化
-
,
T terry 固定了此主题
-
还是得靠粉丝顶。如果买了做本地算力。我建议还是算了。
8.6W 搞了都不如 充值个订阅。爽玩还没噪音。
1W 上个 Mac mini M6 之后充值个 靠谱的在线订阅 或 直接充值 DeepSeek 是个更好的玩法。 -
还是得靠粉丝顶。如果买了做本地算力。我建议还是算了。
8.6W 搞了都不如 充值个订阅。爽玩还没噪音。
1W 上个 Mac mini M6 之后充值个 靠谱的在线订阅 或 直接充值 DeepSeek 是个更好的玩法。@williamlouis 现在买的人想法是玩两年,白嫖算力,如果后期苹果拿不到足够的内存颗粒,没准还能加价卖
-
@williamlouis 现在买的人想法是玩两年,白嫖算力,如果后期苹果拿不到足够的内存颗粒,没准还能加价卖
-
编者注:此文完全是数字推演,不代表真实硬件能力。笔者不对信息准确度负责。 信源会罗列在文章下方结合256GB统一内存来看,目前比较有价值的就是运行ds-v4-flash-0731,恰巧最近omlx有过一次版本更新,官方性能数据如下:信息来源

然后,M5 Ultra的内存带宽是M3 Ultra的接近1.5倍。又根据苹果官网数据,其prefill性能是M3 Ultra的4倍(ollama数据,框架不同,只能参考)
所以大概预期,M5 Ultra运行ds-v4-flash-0731 Q4的大致性能是:
prefill
上下文 M3U(v0.5.4rc2) 3× 4× 1K 531.0 ~1590 ~2120 4K 486.5 ~1460 ~1950 64K 468.5 ~1410 ~1870 128K 438.6 ~1320 ~1750 decode
场景 M3 Ultra M5 Ultra 预计 MTP 关,1K 27.6 ~40 MTP 关,4K 25.8 ~38 MTP 关,64K 22.8 ~33 MTP 关,128K 21.3 ~31 信息来源:
https://newreleases.io/project/github/jundot/omlx/release/v0.5.4rc2
https://www.apple.com.cn/mac-studio/
https://omlx.ai/compare -
@kop-wang 已下单,要10月24日发货,等到货了实测一下。
选的36核中央+80核图形,256GB内存,2TB存储空间
小白一枚,看大佬YT视频找到的论坛,学习摸索中。
应该能跑这两个模型吧。
GLM-5.3-Flash 4bit
DeepSeek-V4-Flash-0731 MXFP4 -
@cc-tgo用学生认证可以怒省1万块?
@johnnybegood 用了教育优惠,原价90499,优惠后82749,怒省7750

-
@johnnybegood 用了教育优惠,原价90499,优惠后82749,怒省7750

-
@cc-tgo 只是学生用的话, 确实有点浪费

@johnnybegood 不懂代码的小白一枚
,兴趣是最好的老师。
-
@johnnybegood 不懂代码的小白一枚
,兴趣是最好的老师。
