<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[M5 Max/Ultral AI性能强悍？苹果、AMD、英伟达AI小主机AI性能全面分析，潜力很大但统一内存并非万能！]]></title><description><![CDATA[<p dir="auto">苹果发布了 M6 Mac mini，最高内存是 32G，然后发布了 M5 Max 以及 M5 Ultra Mac Studio，它的最高内存可以达到 256G，甚至是 512G，那么这就是相当恐怖了。于是就有很多人在评论区问，你怎么不谈苹果的小主机？这个性能是非常非常霸道的。本期我们就来谈一谈这个话题。</p>
<p dir="auto">当然了，先把结论给出来。如果说你只是想知道结论，看一下就可以划走了。M6 Mac mini 只是对于 M4 Mac mini 的一个常规迭代，最高内存 32G，你说它能干什么呢？跑大模型肯定是不现实的。用来玩一玩这些比较入门级的，像千问 3.5 35B A3B 这样的模型还是可以玩的，但是意义不大，聊胜于无嘛，它也没有什么生产力。它最主要的还是用来，比如说我们买过来剪剪视频、搞搞编程，然后轻度娱乐，它是够的。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/e2efc428-0184-41ac-b51d-5b47192e7374.jpeg" alt="M5 max urtal" class=" img-fluid img-markdown" /></p>
<p dir="auto">因为我现在用的是 M4 Mac mini 24G 版本。正常来讲，这个系统我是永远不会关机，除非是升级的时候需要重启。它的功耗也非常低，又非常安静，并且这个系统相当稳定。我无论是剪辑视频，还是录制视频，就是录制 OBS，还是平时用这些聊天软件、编程软件，都是在上面。而且它也是我所有机器的总控制入口，这方面的任务它可以非常轻松地完成。</p>
<p dir="auto">而且我可以说，在 Windows 11 被玩坏了之后，变成了一个垃圾系统之后，它是当下可能唯一一个能够让你长期稳定工作，然后生态环境又比较好的操作系统。要么你就去用比较小众的国产鸿蒙系统，其实现在做得也相当不错，肯定比 Windows 要好用，这是肯定的，但是它的生态会比 Mac 还要再差。要么你就是用极客的 Linux 系统，是非常稳定的。你让 AI 帮你配置一个 Linux 的特殊发行版本、小众版本，自己定制一个都可以，但是门槛就比较高了，而且对于一些常用的剪辑软件之类的，它可能就没有那么好用了。</p>
<p dir="auto">这一块就带过。然后就是 M5 Max，从 128G 版本开始就可以玩了，因为 128G 版本就能支持 120B MoE 模型的 4 比特量化版本。最近千问不是发布了，我上午刚刚评测过千问 3.8 Flash 125B A6B 模型，那么这个模型 4 比特量化之后，是可以放到 128G 统一内存中去的。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/f0a2e1a9-d0c5-4483-b72d-0f0bc3b85c8d.jpeg" alt="Qwen3.8 flash" class=" img-fluid img-markdown" /></p>
<p dir="auto">GPT 告诉我，对于 AMD 和英伟达的小主机，它们现在已经跑起来了。苹果可能由于这个模型比较新，还要等待社区进行进一步调优，但是肯定是能够跑起来的。而且这个模型的智力是相当在线的，不过它目前的缺点也非常严重，就是思考过度，而且好像没有办法从外面把它关掉，做一个任务需要非常长的时间。但是不排除经过一段时间的社区优化，包括官方也加入进来进行一定的优化、调优，它可能在 3.8 这个版本不太好用，但是到了 4.0，应该会成为一个非常好用的模型。就是说未来可期，这个是大概率的事情，不是瞎猜。</p>
<p dir="auto">然后就是说，如果你的内存上到 256G 了，那么 M5 Max，讲实话，上到这个级别我就建议大家去选购 M5 Ultra，因为你不差钱了嘛。它的 CPU 跟 GPU 性能都是有大幅提升的，带宽也是翻倍了。M5 Max 是 640GB/s 的带宽，相当于 AI Pro R9700，就是 AMD 的 32G AI 神卡，然后比 4080S 32G 魔改卡要差那么一点点。</p>
<p dir="auto">做一个对比，7900 XTX 是 1TB/s 带宽，4090 也是 1TB/s 带宽，5090 是 1.6TB/s 带宽，RTX Pro 5000 是 1.3TB/s 带宽。就是说在这一块，M5 Ultra 是两个 Max 给它焊在一起的话，那么它的统一带宽就会到 1.2TB/s。这个是一个相当不错的、接近 RTX Pro 5000 这样的工作站显卡的水平，肯定是相当能打了。</p>
<p dir="auto">而且到了它这个级别，有一个什么好处呢？就是它不仅可以跑 122B 的 MoE，因为它上了 256G 显存之后，可以放下 300B 的，像 DeepSeek V4 Flash 都是可以放下的。当然了，苹果因为不支持 NVFP4，也不支持 FP8，那么它肯定是上 4 比特量化版本，这个肯定是可以放下的，而且它的推理精度损失其实并不大。能够跑 300B 的 MoE 4 比特量化模型，那么最近比较大火的 GLM-5.3-Flash，将来也是完全能够跑得下的。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/3cf4b93c-d31c-4a64-92fc-d6844a6b65e1.jpeg" alt="Mac studio" class=" img-fluid img-markdown" /></p>
<p dir="auto">当然了，如果说你用它来跑千问 3.8 Flash，就是 125B A6B 的模型，那它未来调好之后，我相信你在 M5 Max 或者 M5 Ultra 上面都能够非常流畅地运行。而且 M5 Ultra 有个什么好处呢？就是它不需要等未来，它在当下就有能够确定跑的模型。因为之前在 M5 Max 上面已经有人跑起来过千问 3.8 27B 这个模型。</p>
<p dir="auto">这个稠密模型，如果说你用的是 Max，那它可能吐字速度比较慢，十几 tokens/s，不开投机解码，就比较受罪。但是如果说你是用 Ultra，理论上它的吞吐量应该可以翻倍，20 多 tokens/s，那么这个就是一个相当舒适的本地 AI 计算中心了。</p>
<p dir="auto">当然了，由于苹果生态不支持 SGLang 这样的最专业推理框架，它没有 Radix 缓存树。社区移植的版本是把 SGLang 的基础功能给移植上去了，但是 Radix 缓存树这个核心功能没有把它移上去。它的多开可能比较受罪，不大现实。但是单个会话长期任务执行，同时再挂一些小的模型，比如千问 3.5 35B A3B 这样的小模型上去做一些辅助任务，多开的话，甚至同时再挂一个图片模型、音频模型，常驻于内存之中，这个体验是不会差的。</p>
<p dir="auto">如果说你只想知道苹果家的小主机什么样子能玩，那么这部分已经结束了，你可以划走了。下面我们就应广大观众的要求，再谈一谈 AMD 跟英伟达的小主机，就是 AI 395、400，然后英伟达的 DGX Spark、RTX Spark。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/ebeeee4e-685a-49b6-b548-ac6b0b2e4d4f.jpg" alt="AIMax395迷你主机.jpg" class=" img-fluid img-markdown" /></p>
<p dir="auto">首先说系统生态最好的就是 AMD。AMD 是 X86 的芯片，能够跑起标准的 Windows。它的统一内存最高是 128G，能够划出来的显存是 96G，最大的显存。它也能够比较好地跑起千问 3.8 Flash 125B A6B 模型。它可能在生态成熟之后，这个小主机的价值也会有所提升，因为这个模型现在唯一的缺点就是反应慢，然后对于 Agent 的长链任务支持不好，就慢得跟狗屎一样。但是我相信这个问题是有解的，起码能够缓解，就是能够让这个小主机有一定的生产力。</p>
<p dir="auto">并且同时它由于是 X86 的系统，有一个标准的 Windows 生态，它可以玩游戏，可以用来办公。你跑跑 PS 这些东西，剪辑一下视频，跑一些小的 3D 软件都能跑。</p>
<p dir="auto">那么英伟达的 DGX Spark，就是 GB10，它最大的问题在于它是 ARM 架构，目前是不支持 Windows 的。但是由于 RTX Spark，就是跟它一模一样的芯片，只是换了个名字，上了笔记本，微软表示要支持它，那么未来它跑起 ARM Windows 的可能性也是非常高的，应该说是肯定能跑起来，就是不知道什么时候能够跑起来。这样的话，它也能够兼容大部分 Windows 生态。</p>
<p dir="auto">但是我们要知道，ARM Windows 其实在 Mac 上面也能跑起来，通过虚拟机的方式，但是它的性能损耗还是比较大的。它不能像 AMD 的小主机一样，拥有那么良好的 Windows 生态。当然了，我们也要知道，这个毕竟是老黄的卡嘛，它有它的优势。我们不能把 DGX Spark 或 RTX Spark 等同于我们在 X86 平台下跑的 N 卡，它的 AI 生态还是有一点点区别的。当然了，大部分生态是通用的，不过它的生态肯定没有 N 卡的独立显卡好，但是肯定要比 AMD 的小主机兼容性好一点。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/21f087b6-09aa-4604-8eb1-59f03c8f4909.jpg" alt="DGX Spark 1.jpg" class=" img-fluid img-markdown" /></p>
<p dir="auto">然后这个小主机有个什么特点呢？就是说它如果是用来跑千问 3.8 27B 这样的稠密模型的话，它的算力是要比 AMD 的算力好一点的。AMD 的 AI 395 可能跑起来八九个 tokens/s、10 tokens/s，它就能跑到 13、14 tokens/s。虽然说也是慢得跟狗屎一样，但是能用了。</p>
<p dir="auto">并且它有一个什么好处呢？它有高速互联的数据线，你把它插上去之后，两台小主机用来跑 DeepSeek V4 Flash，这个社区已经验证过了。它跑 NVFP4 跟 FP8 的混合版本效率是比较高的，能够在配合 MTP 的情况下达到五六十 tokens/s。当然了，由于它的带宽跟 AI Max 395 一样，200 多 GB/s，它是残疾带宽，所以说它的 Prefill 速度不会快到哪去。</p>
<p dir="auto">但是你要知道，它也是能够支持 SGLang、能够用上 Radix 缓存树的，所以这个问题也会得到一定程度的缓解。就是说它是可玩的，能够切实部署 DeepSeek V4 Flash 这样的优秀大模型，并且相信 GLM-5.3-Flash，同样 300B 的模型，将来有一天也是能够驱动的。因为这两个 300B 的模型，激活的参数好像都是十几 B，它就比 122B 的，或者 125B 激活 10B 或者 6B 的千问家族，智力上要好得多，它的推理稳定性也要强出一块。</p>
<p dir="auto">像 RTX Spark，它不是上了笔记本嘛。上了笔记本，Windows 对于它的支持肯定会进一步完善，这个后期也会辐射到 DGX Spark，我们只能说未来可期吧。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/c124c7ee-5a53-43c9-87c6-93b9122cc8ec.jpeg" alt="RTX Spark" class=" img-fluid img-markdown" /></p>
<p dir="auto">同样的就是我刚才提到的千问 3.8 Flash，它的 125B A6B 模型，如果说能够在优化之后跑到小主机上，那可能你就不需要去买两个小主机来跑 DeepSeek V4 Flash 了。你很有可能就捡现成的，就跑千问 3.8 Flash。如果到时候体验能够接受的话，那它生产力也会有大幅的提升。</p>
<p dir="auto">以上我们提到的这些苹果也好，还是 AMD 也好，还是英伟达的小主机也好，它们都是说在大模型领域，跑稠密模型肯定是不行的，但是跑 MoE，尤其是 100B、200B、300B 级别的这种 MoE 模型 4 比特量化版本，它们还是玩得转的。</p>
<p dir="auto">但是如果说要进入 ComfyUI 领域，这个情况就变了。首先就是苹果，苹果的 M 系列，就是 Apple Silicon 架构，它的 FP32 卷积算力是非常差的，然后它的 BF16 算力也要远远落后于独立显卡。所以说它在跑扩散模型，尤其是视频大模型的时候，效率是相当低的，基本上跑不起来。跑起来了也是这样那样的 Bug，然后效率非常低。</p>
<p dir="auto">但是它是能够画图的，也能够做音频。音频像 VoxCPM，我的 M4 Mac mini 24G，就是盖中盖版本，也是能够跑起来的，只不过非常慢。我相信到了 M5 Max 或者 M6 Mac mini 上面，它都能跑起来。关于图片，我在我的 M4 Mac mini 上也测过 Draw Things，它也是能够在可以接受的体验范围内，在体验还不错的情况下用来画图。它可能就是跑不了视频。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/6ff757bf-b48f-4a54-85e4-20afa1f94ef8.webp" alt="drawthings.webp" class=" img-fluid img-markdown" /></p>
<p dir="auto">那么回到 AMD 跟英伟达的小主机上来讲的话，它们毫无疑问都是能跑的，无论是音频、画图还是视频都能跑，因为它们都能装得下。但是这个速度，尤其是在视频方面，肯定就是不堪入目。</p>
<p dir="auto">这个就相当于什么呢？还不如你去买一个好一点的独立显卡，比如 4090 48G，或者买一个 4080S 32G，然后给它配大一点的内存，做内存缓存，用内存来 Overflow。在这种情况下，它的效率说实话都不一定，应该不是不一定了，都肯定比你用小主机单独来跑视频模型要好得多。</p>
<p dir="auto">当然了，慢归慢，你不得不承认这两个小主机都是能跑的。如果说你不在乎速度，不在乎发热，不在乎把它们烧掉，不在乎加速它们老化，你就偏要用它们来生产视频，能不能呢？能。如果说你再有钱，买个三个五个，买个十个八个的小主机，让它们多线去跑，当然也可以，只是这样做就没有什么必要了，感觉没有什么性价比。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/af4450b6-ecc4-4105-a0a4-b32b19e077c8.jpg" alt="AIMax395迷你主机.jpg" class=" img-fluid img-markdown" /></p>
<p dir="auto">那么关于这些硬件，讲实话，有些我是有的，有些我是没有的。我肯定不可能所有的硬件都买，但是苹果、AMD、英伟达这些生态，我都实际测试过。我可能有些生僻的硬件，就算我自己没有，我也可以上 <a href="http://Vast.ai" rel="nofollow ugc">Vast.ai</a>、亚马逊这些云服务提供商，去他们那里租用、测试。</p>
<p dir="auto">但是即便如此，我能够测试的硬件数量肯定也是有限的。我只能说根据这些硬件在市面上的公开资料，然后根据我本人的使用经验，还有论坛广大网友发的这些实际测试数据来综合一下，给大家云一下。所以说我把这些硬件评测的视频都放在一个专辑底下，叫做“硬件云评”。</p>
<p dir="auto">未来我也会在论坛上面把网友们的意见聚合起来。最终你肯定还是要跟第一手的使用者、真实的使用者去交流。大家不要在我的视频下方发个一两百个字去提一个问题。讲实话，你提个问题发个一两百字，我要回答你，把这些问题回答清楚，而且你们又不交代自己的实际状况、硬件环境、软件环境、生产任务，在这些问题都不交代清楚的情况下，我没有办法回答清楚。</p>
<p dir="auto">就算我有能力能够猜到你们在想什么，我的精力也不支持。我同时做好几个油管频道，讲实话我来油管是挣钱的。如果你们每个人提一个问题，我就给你们吭哧吭哧地回答，你觉得我的时间够吗？</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/7efbf96c-8b94-4728-9c45-30b6af1196ee.jpeg" alt="抡锤者论坛注册用户" class=" img-fluid img-markdown" /></p>
<p dir="auto">但是如果说你们去了论坛，那就不一样了。我开论坛就是为了把有共同兴趣的这些人聚集到一起。大家都对 AI 部署感兴趣，都对 AI 相关的话题感兴趣，或者说都对编程、网络技术感兴趣，那么你们就到论坛上面去发帖交流。我们论坛已经有好几千人注册了，高质量的帖子可以说层出不穷，大神也很多。</p>
<p dir="auto">我在过往的视频中，包括我过去的两期视频，全部都是直接抄论坛大神的作业。就是他们的帖子我拿过来，连看都没有认真看，就大致扫了一下，觉得这个方案不错，我就把它复制一下，然后丢给 Codex，或者丢给 DeepSeek Harness，或者丢给 Hermes，我就说你给我照着抄，他们就把这个问题搞定了。</p>
<p dir="auto">如果说你在这个过程中有什么问题，你的 Agent 搞不定，那么你就到论坛发帖嘛，你的问题一定会有人解答的。论坛比我牛逼的人多的是，比我设备好的人也有的是。</p>
<p dir="auto">如果说你是去问 AI 这些问题，那么 AI 大概率会给你一个充满幻觉的答案，你永远不清楚这个方案能不能跑起来。但是如果说你去论坛发帖交流的话，这些大神根据他们的经验，三个臭皮匠顶个诸葛亮，就能够给你一个比较明确的答案，让你少走很多弯路。</p>
]]></description><link>https://lcz.me/topic/1357</link><generator>RSS for Node</generator><lastBuildDate>Mon, 07 Sep 2026 18:36:11 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/1357.rss" rel="self" type="application/rss+xml"/><pubDate>Thu, 27 Aug 2026 12:00:00 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to M5 Max/Ultral AI性能强悍？苹果、AMD、英伟达AI小主机AI性能全面分析，潜力很大但统一内存并非万能！ on Fri, 28 Aug 2026 01:40:27 GMT]]></title><description><![CDATA[<p dir="auto">希望苹果能给AN两家点动力让他们认真的搞下小主机，不是现在这样的糊弄</p>
]]></description><link>https://lcz.me/post/14485</link><guid isPermaLink="true">https://lcz.me/post/14485</guid><dc:creator><![CDATA[Kirin H.]]></dc:creator><pubDate>Fri, 28 Aug 2026 01:40:27 GMT</pubDate></item><item><title><![CDATA[Reply to M5 Max/Ultral AI性能强悍？苹果、AMD、英伟达AI小主机AI性能全面分析，潜力很大但统一内存并非万能！ on Thu, 27 Aug 2026 15:09:56 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/%E8%96%9B%E5%B7%A8%E4%BE%A0" aria-label="Profile: 薛巨侠">@<bdi>薛巨侠</bdi></a> <a href="/post/14404">说</a>:</p>
<p dir="auto">256G m5 ultra和rtx pro5000的整机，个人使用，本地ai和轻度comfyui，minimax h3。怎么选呢？各位大神</p>
</blockquote>
<p dir="auto">comfyui，minimax h3  《==  只这俩就锁死Pro5000了</p>
]]></description><link>https://lcz.me/post/14423</link><guid isPermaLink="true">https://lcz.me/post/14423</guid><dc:creator><![CDATA[张光璞]]></dc:creator><pubDate>Thu, 27 Aug 2026 15:09:56 GMT</pubDate></item><item><title><![CDATA[Reply to M5 Max/Ultral AI性能强悍？苹果、AMD、英伟达AI小主机AI性能全面分析，潜力很大但统一内存并非万能！ on Thu, 27 Aug 2026 14:41:33 GMT]]></title><description><![CDATA[<p dir="auto">256G m5 ultra和rtx pro5000的整机，个人使用，本地ai和轻度comfyui，minimax h3。怎么选呢？各位大神</p>
]]></description><link>https://lcz.me/post/14404</link><guid isPermaLink="true">https://lcz.me/post/14404</guid><dc:creator><![CDATA[薛巨侠]]></dc:creator><pubDate>Thu, 27 Aug 2026 14:41:33 GMT</pubDate></item><item><title><![CDATA[Reply to M5 Max/Ultral AI性能强悍？苹果、AMD、英伟达AI小主机AI性能全面分析，潜力很大但统一内存并非万能！ on Thu, 27 Aug 2026 13:06:58 GMT]]></title><description><![CDATA[<p dir="auto">这些小主机基本都是YY，算了吧</p>
]]></description><link>https://lcz.me/post/14369</link><guid isPermaLink="true">https://lcz.me/post/14369</guid><dc:creator><![CDATA[vosrock]]></dc:creator><pubDate>Thu, 27 Aug 2026 13:06:58 GMT</pubDate></item><item><title><![CDATA[Reply to M5 Max/Ultral AI性能强悍？苹果、AMD、英伟达AI小主机AI性能全面分析，潜力很大但统一内存并非万能！ on Thu, 27 Aug 2026 12:59:25 GMT]]></title><description><![CDATA[<p dir="auto">朋友M5 MACBOOK 128G 跑27B都非常拉夸，不是硬件不行，而是目前配套框架还不给力，看着我的4090的速度，他直掉眼泪。。。</p>
]]></description><link>https://lcz.me/post/14367</link><guid isPermaLink="true">https://lcz.me/post/14367</guid><dc:creator><![CDATA[_折騰_]]></dc:creator><pubDate>Thu, 27 Aug 2026 12:59:25 GMT</pubDate></item><item><title><![CDATA[Reply to M5 Max/Ultral AI性能强悍？苹果、AMD、英伟达AI小主机AI性能全面分析，潜力很大但统一内存并非万能！ on Thu, 27 Aug 2026 12:00:00 GMT]]></title><description><![CDATA[<p dir="auto"><a href="https://youtu.be/FxXXRearMQ8" rel="nofollow ugc"><i class="fa fa-youtube" aria-hidden="true"></i> Youtube Video</a></p><div class="js-lazyYT lazyYT-container" data-youtube-id="FxXXRearMQ8" data-width="640" data-height="360" data-parameters style="width:640px;padding-bottom:360px">
 <div class="ytp-thumbnail lazyYT-image-loaded" style="background-image:url(&quot;https://i.ytimg.com/vi/FxXXRearMQ8/hqdefault.jpg&quot;)">
  <button class="ytp-large-play-button ytp-button" tabindex="23" aria-live="assertive" style="transform:scale(0.85)" onclick="$(this).lazyYT(this);return false;">
   <svg height="100%" version="1.1" viewbox="0 0 68 48" width="100%">
    <path class="ytp-large-play-button-bg" d="m .66,37.62 c 0,0 .66,4.70 2.70,6.77 2.58,2.71 5.98,2.63 7.49,2.91 5.43,.52 23.10,.68 23.12,.68 .00,-1.3e-5 14.29,-0.02 23.81,-0.71 1.32,-0.15 4.22,-0.17 6.81,-2.89 2.03,-2.07 2.70,-6.77 2.70,-6.77 0,0 .67,-5.52 .67,-11.04 l 0,-5.17 c 0,-5.52 -0.67,-11.04 -0.67,-11.04 0,0 -0.66,-4.70 -2.70,-6.77 C 62.03,.86 59.13,.84 57.80,.69 48.28,0 34.00,0 34.00,0 33.97,0 19.69,0 10.18,.69 8.85,.84 5.95,.86 3.36,3.58 1.32,5.65 .66,10.35 .66,10.35 c 0,0 -0.55,4.50 -0.66,9.45 l 0,8.36 c .10,4.94 .66,9.45 .66,9.45 z" fill="#1f1f1e" fill-opacity="0.9">
    </path>
    <path d="m 26.96,13.67 18.37,9.62 -18.37,9.55 -0.00,-19.17 z" fill="#fff">
    </path>
    <path d="M 45.02,23.46 45.32,23.28 26.96,13.67 43.32,24.34 45.02,23.46 z" fill="#ccc">
    </path>
   </svg>
  </button>
 </div>
</div><p></p>
]]></description><link>https://lcz.me/post/14324</link><guid isPermaLink="true">https://lcz.me/post/14324</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Thu, 27 Aug 2026 12:00:00 GMT</pubDate></item></channel></rss>