首发 pcie 6.0 ssd，带宽有30gb/s（和cx7网络速度相当），似乎可以买低配 + 用硬盘跑超大规模模型

新加坡顯卡商說第四季RTX 顯卡供貨會減少, 幾個小時前有傳聞說RTX50 Series 顯卡將會 “大減” 有人看到類似的消息嗎？

@kos-or 国内也说游戏显卡要减半 + 二次涨价

很好，我省了8.6万

M5 Ultra
30CPU/64GPU/256G/1T RMB 70599
36CPU/80GPU/256G/1T RMB 79374

内存带宽1.2T, 256G统一内存还是有吸引力, 单机可跑deepseek v4 flash Q4.

号召论坛土豪们先入手测试一下啊

@Tony-Wang 没啥卵用，意义不大，256G能跑DSV4 Flash，应该是最好的选择，没有之一。但是为了个大模型花这么多钱，我还是舍不得。ComfyUI能力等于残疾。

@Tony-Wang 这个好像比两台dgx spark跑速度快不少是不是？

@terry

对一些小型工作室, 个人. 主要处理文字, 文档和图片的, 应该还是不错的选择. 比如律所, 会所, 编辑部, 作家等等.

@Kirin-H.

dgx spark 内存带宽只有273G, 两台并行的话, 因为每层的计算结果都要交互, 速度肯定不能按X2 来计算. 而 M5 Ultra 内存带宽是1.2T.

所以, 只看LLM decode 的话, M5 Ultra肯定是要快不少的. Prefill 阶段, 结论就不是很明确了. 等等测试结果吧.

@Tony-Wang 说:

@Kirin-H.

dgx spark 内存带宽只有273G, 两台并行的话, 因为每层的计算结果都要交互, 速度肯定不能按X2 来计算. 而 M5 Ultra 内存带宽是1.2T.

所以, 只看LLM decode 的话, M5 Ultra肯定是要快不少的. Prefill 阶段, 结论就不是很明确了. 等等测试结果吧.

以国内黄牛的尿性，这台机起码要到2027年下半年才能买到。

@terry 臣附议

来自https://spark-arena.com/leaderboard
2 nodes的gb10集群运行FP8量化的0731版dsv4-flash（实际是FP8和NVFP4混合量化）的榜单能到50t/s（极限调教科技与狠活，关闭GUI），且512K可用，1M上下文有衰减。
GB10的社区在持续发力，而且大神不少，让这个小盒子从发布到现在的含金量持续缓缓上升。个人感觉这次苹果发布的macmini/macstudio系列在ai战场略显疲态。

@terry 硬件底子很好，框架拉了，512G 如果跑 GLM 如果能优化到 60tps 就是值的

@Rex-Fan 苹果出来了，但是似乎苹果很贵，还没有老黄的机器有性价比。

@terry 香港教育优惠 m5 ultra + 256g 人民币 58880 ，512g（如果不调整价格）差不多10w。性能保底能用和spark集群打平，之后生态起来了估计反超。缺点是 m5 设计的架构设计的太早了，精度还以 FP16/INT8 优化为主。估计要到 m7 才会给更实用的硬件原生 4-bit 张量优化

@Rex-Fan 现在的本地4比特也只是权重量化，推理还是BF16，苹果的问题是FP32卷积算力残疾，没有tensor core。跑LLM没问题，BF16抗打就行。

@terry tensor core m5这一代加入了。苹果还有一个问题是没有类似SGLang、vllm之类的框架，投机解码也没有英伟达那边那么好用

还是得靠粉丝顶。如果买了做本地算力。我建议还是算了。
8.6W 搞了都不如 充值个订阅。爽玩还没噪音。
1W 上个 Mac mini M6 之后充值个 靠谱的在线订阅 或 直接充值 DeepSeek 是个更好的玩法。