苹果小主机AI生态已经基本成型，LLM和ComfyUI都能玩，但是体验还是不如独立显卡，M3 Ultra，M5 Max，M5 Ultra成全能选手门坎，贵！
-
每次谈苹果的小主机，讲实话，频道的收益都不错，但是压力比较大，因为评论区有很多杠精说：“你那些苹果设备只是入门级的，你有什么资格谈？”是吧？我也反复给他们解释了啊，我是杀过猪，但是呢，没有杀过很大的猪。就我的设备虽然是入门级的，但是我也能测出它们的性能。而且我也跟他们讲，我还见过猪跑，是吧？有些论坛网友，他们有M3 Ultra 512G，或者M5 Max 128G、M5 Ultra 96G、M5 Ultra 256G，他们都发出了自己的测试数据。那么我只要把他们的数据拿过来阅读一下、理解一下，是吧？我对着镜头BB，也不是完全脱离实际、纯粹地云，还是有一定的数据基础的。而且你们到论坛去看一看，这些帖子轻松都可以搜到，论坛有搜索功能，是吧？人家有实际的实拍图，有详细的测试数据，有详细的测试用例。
那么本期视频呢，就从一位网友的问题开始。他是M3 Ultra 512G，他就问现在跑什么模型、用什么框架，是吧？其实如果说你在苹果生态上，现在选择不多。虽然有llama.cpp、Ollama，包括各种在M5上的异质版本，讲实话，跑起来的效果都不太好。苹果自身的MLX框架，加上OMLX这个推理软件，目前总体而言是比较成熟、性价比最高、能够投入生产的，可以说应当是目前唯一的解决方案。那么其他的移植版本，包括Strata的SGLang，这些官方都有苹果的移植版本，甚至SGLang已经把核心的Radix缓存树给加上去了。但是你稍微去Reddit、X上搜一下，会发现问题其实比较多。然后有很多社区版本，觉得官方可能更新太慢、自己用起来不舒服，就发布了自己的解决方案。能不能部署？能，你让你的AI agent去抄他们这些社区发行版就行了，包括SGLang。它在苹果上面，如果说你把它调好的话，你是M3 Ultra也好，还是M5 Max、M5 Ultra也好，它跑出来的表现肯定比你用MLX框架要好得多，这就是SGLang这样新的框架本身的核心优势。包括Strata，讲实话，如果说你能跑起来的话，它的体验也不会比MLX差，但是你得自己花时间去折腾这些事情。
然后关于模型，如果你是512G内存，那么你跑千问27B、千问3.8 Flash Next，包括以后的千问4.0 27B，这些都可以。或者说你跑DeepSeek V4.1 Flash、GLM5.3 Flash、MiniMax M3.1 Flash，你都能跑。但是你要知道，M3 Ultra它的性能，讲实话，你可以把它理解为稍微强一点的M5 Max，它跟M5 Ultra的性能差距还是比较大的。而且由于它的框架、硬件架构本身比较落后，就它是怎么讲呢，前AI时代的产品。苹果当时设计这个产品的时候，主要并不是为了AI设计的。可能有一部分特性，包括它800G左右的带宽，然后512G的庞大统一内存，那个时候内存还比较便宜，是吧？就让它能够在某种场景下跑一些MOE模型，表现还不错。但是苹果确实并不是专门为了这个东西去设计它的，它的效能比起M5来讲要差很远。
苹果在M5平台上对prefill进行了定向优化，效率提升很高。根据官方的说法，M5 Ultra的性能最高应当比M3 Ultra高出四倍，但是实际上并没有这么夸张啊，社区很多人实测大概在1.5倍到2倍之间，这个提升幅度也是非常大的，是吧？那么就把它理解为稍微加强一点版本的M5 Max，这个基本上可以这么对比。那你说在这种配置下，如果要跑DeepSeek V4.1 Flash这样500B左右的大模型MOE模型，同时激活可能20B左右，我个人觉得M3 Ultra还是比较吃力的。M5 Max没有那么大内存，即便给它那么大内存，它的带宽也好、算力也好，跑这些玩意我感觉还是比较吃力的，尤其是算力。苹果虽然没有公开M3 Ultra和M5的算力，但是根据外界普遍估计，它们只是相当于英伟达的中端显卡，算力实际上比较低。它唯一能打的就是高带宽，然后大的统一内存，这就是它唯一的优势。
那在这种情况下，你说要去跑ComfyUI生产，比如说MiniMax H3，有人把它移植到了苹果平台上，那么M5 Ultra可能跑起来体验还不错，但是跟英伟达的个人消费旗舰卡不能比，跟PC平台完全不能比。你就更不要去碰瓷RTX Pro 5000、6000这样的工作站卡，或者去碰瓷A100这样的服务器端的卡了，就完全没有必要。跟H100、H200这些比，那就更是被吊打，这个差距非常明显。到了它那个价格，基本上可以上RTX Pro 6000了，是吧？RTX Pro 6000的ComfyUI生产力可以说是苹果的N倍，这个N等于几，可能要大家去实践，就可能是数量级别的差距。但是呢，我们也必须要知道，苹果这个平台有它的好处，就是功耗低、硬件素质高、生态好。哪怕你现在买了它之后不用它来跑AI，它本身的生产力用来办公、绘图、视频剪辑、编程，这些方面的基础功能都非常强大。当然了，确实你为了这些功能，包括做工业软件渲染、3D、Blender这些东西，如果为了这些需求来买M3或者M5 Ultra的话，那确实有点高配了。但是苹果用户一般来讲都是定位比较高，他们可能不太在乎性价比。
那么你过个三年五年，五年前的M1 Max到现在，它的32G版本依然可以卖到1万块钱，跟M6 Mac mini 32G版本的价格基本上持平，是吧？五年前、六年前的产品，说明苹果设备的保值率相当高。而且从常识来讲，由于苹果本身的生产工艺比较好，用料也比较好，像这种高端小主机正常放在桌面上，在家里或者办公室环境中放几年，它的生命周期消耗其实非常轻微，生命周期还相当长。
苹果小主机啊，就是你M3 Ultra可能跑跑千问27B，体验还不是太好，或者跑跑千问Flash Next，对吧？现在是3.8版本，以后4.0版本出来之后，你们的体验可能好一点。然后再加上框架本身的优化，或者像SGLang、Strata这些新的推理框架移植到苹果平台上，并且把大的bug修复掉，你们的体验可能会稍微好一点。就完全没有必要硬上DeepSeek 4.1 Flash。你即便是论坛中已经测试表现还不错的M5 Ultra 256G，它跑DeepSeek V4.1 Flash用的也是Q3量化版本。当然了，如果是M5 Ultra 512G，它可能就不需要这么严重的量化了。但是你要想达到英伟达平台的那种推理效果，个人认为只能等待M5 Ultra 512G。比起M3 Ultra 512G，包括M5 Ultra 256G，想要有这样完整的体验，我个人感觉都比较难。
然后如果说你现在把这些100B左右、甚至200B左右的模型跑好了，再把ComfyUI，比如说MiniMax H3的移植搞好了，就哪怕它现在生成速度比较慢，由于它的统一内存非常大，它可以生成非常高质量的片子，分辨率可以拉得很高，品质可以拉得很高，然后你就把它挂起来让它跑就行了嘛，是吧？你把本地大模型生产，比如说脚本啊、抗审查这些剧本的设计给它前置，跑完之后再用批量脚本去跑视频生产，然后你去睡觉。这样的话，你M3 Ultra也好，M5 Max也好，M5 Ultra也好，都能够具备一个完整、闭环的AI生态。无论是大模型还是AI音视频，它都可以获得非常不错的生产力。其实性价比最高的还是M5 Ultra 256G了，然后我认为96G，就是M5 Ultra的96G入门版，本身性价比也是非常高的。就是你可能要放弃一些模型，是吧？因为到了M5 Ultra这个级别，它跑27B本身体验就非常好，你就没有必要一定要上千问Flash Next，是吧？当然了，你上了256G，体验和选择面又更广了。总之一分钱一分货。这个M5 Max 128G我是不太推荐它的，原因很简单，它比起Ultra 96G来讲，跑千问3.8 27B或者以后的4.0 27B，体验只能说能够接受，不是特别好，毕竟它算力跟带宽都砍了一半嘛。然后你说128G去跑千问Flash Next，单会话我觉得还可以，但是苹果系统本身要占用一部分资源，然后剩下来的那点去跑长上下文、多会话，我感觉一个人用还比较好，多个人用或者要多会话，资源还是比较紧张的，就不那么爽快。然后256G基本上体验就没有什么瓶颈，512G就更不用说了。这个M5 Max 128G我认为属于高不成低不就。你可以考虑96G的Ultra或者256G的Ultra。当然了，这纯属我们这些穷屌丝为富人操心了。
哦，对了，论坛有很多人经常留言，包括评论区都说买苹果设备是智商税。我讲实话，我们这些底层的韭菜，我们玩自己的洋垃圾，有自己的兴趣、乐趣，是吧？那么人家高端用户很有可能时间比较值钱，不太愿意花时间考虑这些事情，人家就想买一个安静的、高逼格的小主机，是吧？这个没有必要相互嘲讽。买苹果的也不用有什么优越感，讲实话，你最贵的苹果，跟论坛那些RTX Pro 6000动不动买两张、四张的，或者动不动买4个、8个DGX Spark的用户来比，你们的设备也并不是高不可攀，是吧？尤其是那些花两三万块钱买了高不成低不就版本的，在评论区装逼。唉，我说实话，你那设备，论坛随便一个人的一张显卡都比你贵，就没有必要装逼，知道吗？大家都是讨论境界，咱这个屌丝有屌丝的乐趣，是吧？土豪有土豪的乐趣，没有必要相互攻击、相互看不起。
-
-
-
-
-
apple 当年能够攻破nokia的护城河，我期待他也能够攻破nvidia的护城河
-
