M5 Max/Ultral AI性能强悍？苹果、AMD、英伟达AI小主机AI性能全面分析，潜力很大但统一内存并非万能！
-
苹果发布了 M6 Mac mini，最高内存是 32G，然后发布了 M5 Max 以及 M5 Ultra Mac Studio，它的最高内存可以达到 256G，甚至是 512G，那么这就是相当恐怖了。于是就有很多人在评论区问，你怎么不谈苹果的小主机？这个性能是非常非常霸道的。本期我们就来谈一谈这个话题。
当然了，先把结论给出来。如果说你只是想知道结论，看一下就可以划走了。M6 Mac mini 只是对于 M4 Mac mini 的一个常规迭代，最高内存 32G，你说它能干什么呢？跑大模型肯定是不现实的。用来玩一玩这些比较入门级的，像千问 3.5 35B A3B 这样的模型还是可以玩的，但是意义不大，聊胜于无嘛，它也没有什么生产力。它最主要的还是用来，比如说我们买过来剪剪视频、搞搞编程，然后轻度娱乐，它是够的。
因为我现在用的是 M4 Mac mini 24G 版本。正常来讲，这个系统我是永远不会关机，除非是升级的时候需要重启。它的功耗也非常低，又非常安静，并且这个系统相当稳定。我无论是剪辑视频，还是录制视频，就是录制 OBS，还是平时用这些聊天软件、编程软件，都是在上面。而且它也是我所有机器的总控制入口，这方面的任务它可以非常轻松地完成。
而且我可以说，在 Windows 11 被玩坏了之后，变成了一个垃圾系统之后，它是当下可能唯一一个能够让你长期稳定工作，然后生态环境又比较好的操作系统。要么你就去用比较小众的国产鸿蒙系统，其实现在做得也相当不错，肯定比 Windows 要好用，这是肯定的，但是它的生态会比 Mac 还要再差。要么你就是用极客的 Linux 系统，是非常稳定的。你让 AI 帮你配置一个 Linux 的特殊发行版本、小众版本，自己定制一个都可以，但是门槛就比较高了，而且对于一些常用的剪辑软件之类的，它可能就没有那么好用了。
这一块就带过。然后就是 M5 Max，从 128G 版本开始就可以玩了，因为 128G 版本就能支持 120B MoE 模型的 4 比特量化版本。最近千问不是发布了，我上午刚刚评测过千问 3.8 Flash 125B A6B 模型，那么这个模型 4 比特量化之后，是可以放到 128G 统一内存中去的。
GPT 告诉我，对于 AMD 和英伟达的小主机，它们现在已经跑起来了。苹果可能由于这个模型比较新，还要等待社区进行进一步调优，但是肯定是能够跑起来的。而且这个模型的智力是相当在线的，不过它目前的缺点也非常严重，就是思考过度，而且好像没有办法从外面把它关掉，做一个任务需要非常长的时间。但是不排除经过一段时间的社区优化，包括官方也加入进来进行一定的优化、调优，它可能在 3.8 这个版本不太好用，但是到了 4.0，应该会成为一个非常好用的模型。就是说未来可期，这个是大概率的事情，不是瞎猜。
然后就是说，如果你的内存上到 256G 了，那么 M5 Max，讲实话，上到这个级别我就建议大家去选购 M5 Ultra，因为你不差钱了嘛。它的 CPU 跟 GPU 性能都是有大幅提升的，带宽也是翻倍了。M5 Max 是 640GB/s 的带宽，相当于 AI Pro R9700，就是 AMD 的 32G AI 神卡，然后比 4080S 32G 魔改卡要差那么一点点。
做一个对比，7900 XTX 是 1TB/s 带宽，4090 也是 1TB/s 带宽，5090 是 1.6TB/s 带宽，RTX Pro 5000 是 1.3TB/s 带宽。就是说在这一块，M5 Ultra 是两个 Max 给它焊在一起的话，那么它的统一带宽就会到 1.2TB/s。这个是一个相当不错的、接近 RTX Pro 5000 这样的工作站显卡的水平，肯定是相当能打了。
而且到了它这个级别，有一个什么好处呢？就是它不仅可以跑 122B 的 MoE，因为它上了 256G 显存之后，可以放下 300B 的，像 DeepSeek V4 Flash 都是可以放下的。当然了，苹果因为不支持 NVFP4，也不支持 FP8，那么它肯定是上 4 比特量化版本，这个肯定是可以放下的，而且它的推理精度损失其实并不大。能够跑 300B 的 MoE 4 比特量化模型，那么最近比较大火的 GLM-5.3-Flash，将来也是完全能够跑得下的。
当然了，如果说你用它来跑千问 3.8 Flash，就是 125B A6B 的模型，那它未来调好之后，我相信你在 M5 Max 或者 M5 Ultra 上面都能够非常流畅地运行。而且 M5 Ultra 有个什么好处呢？就是它不需要等未来，它在当下就有能够确定跑的模型。因为之前在 M5 Max 上面已经有人跑起来过千问 3.8 27B 这个模型。
这个稠密模型，如果说你用的是 Max，那它可能吐字速度比较慢，十几 tokens/s，不开投机解码，就比较受罪。但是如果说你是用 Ultra，理论上它的吞吐量应该可以翻倍，20 多 tokens/s，那么这个就是一个相当舒适的本地 AI 计算中心了。
当然了，由于苹果生态不支持 SGLang 这样的最专业推理框架，它没有 Radix 缓存树。社区移植的版本是把 SGLang 的基础功能给移植上去了，但是 Radix 缓存树这个核心功能没有把它移上去。它的多开可能比较受罪，不大现实。但是单个会话长期任务执行，同时再挂一些小的模型，比如千问 3.5 35B A3B 这样的小模型上去做一些辅助任务，多开的话，甚至同时再挂一个图片模型、音频模型，常驻于内存之中，这个体验是不会差的。
如果说你只想知道苹果家的小主机什么样子能玩，那么这部分已经结束了，你可以划走了。下面我们就应广大观众的要求，再谈一谈 AMD 跟英伟达的小主机，就是 AI 395、400，然后英伟达的 DGX Spark、RTX Spark。
首先说系统生态最好的就是 AMD。AMD 是 X86 的芯片，能够跑起标准的 Windows。它的统一内存最高是 128G，能够划出来的显存是 96G，最大的显存。它也能够比较好地跑起千问 3.8 Flash 125B A6B 模型。它可能在生态成熟之后，这个小主机的价值也会有所提升，因为这个模型现在唯一的缺点就是反应慢，然后对于 Agent 的长链任务支持不好，就慢得跟狗屎一样。但是我相信这个问题是有解的，起码能够缓解，就是能够让这个小主机有一定的生产力。
并且同时它由于是 X86 的系统，有一个标准的 Windows 生态，它可以玩游戏，可以用来办公。你跑跑 PS 这些东西，剪辑一下视频，跑一些小的 3D 软件都能跑。
那么英伟达的 DGX Spark，就是 GB10，它最大的问题在于它是 ARM 架构，目前是不支持 Windows 的。但是由于 RTX Spark，就是跟它一模一样的芯片，只是换了个名字，上了笔记本，微软表示要支持它，那么未来它跑起 ARM Windows 的可能性也是非常高的，应该说是肯定能跑起来，就是不知道什么时候能够跑起来。这样的话，它也能够兼容大部分 Windows 生态。
但是我们要知道，ARM Windows 其实在 Mac 上面也能跑起来，通过虚拟机的方式，但是它的性能损耗还是比较大的。它不能像 AMD 的小主机一样，拥有那么良好的 Windows 生态。当然了，我们也要知道，这个毕竟是老黄的卡嘛，它有它的优势。我们不能把 DGX Spark 或 RTX Spark 等同于我们在 X86 平台下跑的 N 卡，它的 AI 生态还是有一点点区别的。当然了，大部分生态是通用的，不过它的生态肯定没有 N 卡的独立显卡好，但是肯定要比 AMD 的小主机兼容性好一点。
然后这个小主机有个什么特点呢？就是说它如果是用来跑千问 3.8 27B 这样的稠密模型的话，它的算力是要比 AMD 的算力好一点的。AMD 的 AI 395 可能跑起来八九个 tokens/s、10 tokens/s，它就能跑到 13、14 tokens/s。虽然说也是慢得跟狗屎一样，但是能用了。
并且它有一个什么好处呢？它有高速互联的数据线，你把它插上去之后，两台小主机用来跑 DeepSeek V4 Flash，这个社区已经验证过了。它跑 NVFP4 跟 FP8 的混合版本效率是比较高的，能够在配合 MTP 的情况下达到五六十 tokens/s。当然了，由于它的带宽跟 AI Max 395 一样，200 多 GB/s，它是残疾带宽，所以说它的 Prefill 速度不会快到哪去。
但是你要知道，它也是能够支持 SGLang、能够用上 Radix 缓存树的，所以这个问题也会得到一定程度的缓解。就是说它是可玩的，能够切实部署 DeepSeek V4 Flash 这样的优秀大模型，并且相信 GLM-5.3-Flash，同样 300B 的模型，将来有一天也是能够驱动的。因为这两个 300B 的模型，激活的参数好像都是十几 B，它就比 122B 的，或者 125B 激活 10B 或者 6B 的千问家族，智力上要好得多，它的推理稳定性也要强出一块。
像 RTX Spark，它不是上了笔记本嘛。上了笔记本，Windows 对于它的支持肯定会进一步完善，这个后期也会辐射到 DGX Spark，我们只能说未来可期吧。
同样的就是我刚才提到的千问 3.8 Flash，它的 125B A6B 模型，如果说能够在优化之后跑到小主机上，那可能你就不需要去买两个小主机来跑 DeepSeek V4 Flash 了。你很有可能就捡现成的，就跑千问 3.8 Flash。如果到时候体验能够接受的话，那它生产力也会有大幅的提升。
以上我们提到的这些苹果也好，还是 AMD 也好，还是英伟达的小主机也好，它们都是说在大模型领域，跑稠密模型肯定是不行的，但是跑 MoE，尤其是 100B、200B、300B 级别的这种 MoE 模型 4 比特量化版本，它们还是玩得转的。
但是如果说要进入 ComfyUI 领域，这个情况就变了。首先就是苹果，苹果的 M 系列，就是 Apple Silicon 架构，它的 FP32 卷积算力是非常差的，然后它的 BF16 算力也要远远落后于独立显卡。所以说它在跑扩散模型，尤其是视频大模型的时候，效率是相当低的，基本上跑不起来。跑起来了也是这样那样的 Bug，然后效率非常低。
但是它是能够画图的，也能够做音频。音频像 VoxCPM，我的 M4 Mac mini 24G，就是盖中盖版本，也是能够跑起来的，只不过非常慢。我相信到了 M5 Max 或者 M6 Mac mini 上面，它都能跑起来。关于图片，我在我的 M4 Mac mini 上也测过 Draw Things，它也是能够在可以接受的体验范围内，在体验还不错的情况下用来画图。它可能就是跑不了视频。
那么回到 AMD 跟英伟达的小主机上来讲的话，它们毫无疑问都是能跑的，无论是音频、画图还是视频都能跑，因为它们都能装得下。但是这个速度，尤其是在视频方面，肯定就是不堪入目。
这个就相当于什么呢？还不如你去买一个好一点的独立显卡，比如 4090 48G，或者买一个 4080S 32G，然后给它配大一点的内存，做内存缓存，用内存来 Overflow。在这种情况下，它的效率说实话都不一定，应该不是不一定了，都肯定比你用小主机单独来跑视频模型要好得多。
当然了，慢归慢，你不得不承认这两个小主机都是能跑的。如果说你不在乎速度，不在乎发热，不在乎把它们烧掉，不在乎加速它们老化，你就偏要用它们来生产视频，能不能呢？能。如果说你再有钱，买个三个五个，买个十个八个的小主机，让它们多线去跑，当然也可以，只是这样做就没有什么必要了，感觉没有什么性价比。
那么关于这些硬件，讲实话，有些我是有的，有些我是没有的。我肯定不可能所有的硬件都买，但是苹果、AMD、英伟达这些生态，我都实际测试过。我可能有些生僻的硬件，就算我自己没有，我也可以上 Vast.ai、亚马逊这些云服务提供商，去他们那里租用、测试。
但是即便如此，我能够测试的硬件数量肯定也是有限的。我只能说根据这些硬件在市面上的公开资料，然后根据我本人的使用经验，还有论坛广大网友发的这些实际测试数据来综合一下，给大家云一下。所以说我把这些硬件评测的视频都放在一个专辑底下，叫做“硬件云评”。
未来我也会在论坛上面把网友们的意见聚合起来。最终你肯定还是要跟第一手的使用者、真实的使用者去交流。大家不要在我的视频下方发个一两百个字去提一个问题。讲实话，你提个问题发个一两百字，我要回答你，把这些问题回答清楚，而且你们又不交代自己的实际状况、硬件环境、软件环境、生产任务，在这些问题都不交代清楚的情况下，我没有办法回答清楚。
就算我有能力能够猜到你们在想什么，我的精力也不支持。我同时做好几个油管频道，讲实话我来油管是挣钱的。如果你们每个人提一个问题，我就给你们吭哧吭哧地回答，你觉得我的时间够吗？
但是如果说你们去了论坛，那就不一样了。我开论坛就是为了把有共同兴趣的这些人聚集到一起。大家都对 AI 部署感兴趣，都对 AI 相关的话题感兴趣，或者说都对编程、网络技术感兴趣，那么你们就到论坛上面去发帖交流。我们论坛已经有好几千人注册了，高质量的帖子可以说层出不穷，大神也很多。
我在过往的视频中，包括我过去的两期视频，全部都是直接抄论坛大神的作业。就是他们的帖子我拿过来，连看都没有认真看，就大致扫了一下，觉得这个方案不错，我就把它复制一下，然后丢给 Codex，或者丢给 DeepSeek Harness，或者丢给 Hermes，我就说你给我照着抄，他们就把这个问题搞定了。
如果说你在这个过程中有什么问题，你的 Agent 搞不定，那么你就到论坛发帖嘛，你的问题一定会有人解答的。论坛比我牛逼的人多的是，比我设备好的人也有的是。
如果说你是去问 AI 这些问题，那么 AI 大概率会给你一个充满幻觉的答案，你永远不清楚这个方案能不能跑起来。但是如果说你去论坛发帖交流的话，这些大神根据他们的经验，三个臭皮匠顶个诸葛亮，就能够给你一个比较明确的答案，让你少走很多弯路。
