MacMini / Studio 太贵?OpenAI正在疯狂囤积,硬件短缺恐会加剧,AI玩家有需求的不要观望,可适当囤积算力!
-
之前在网友们的要求下,做了一期专门的视频,谈一谈苹果的 M5、M6,Mac mini、Mac Studio,以及 AMD 的 AI Max 395、400,英伟达的 DGX Spark、RTX Spark 这些小主机平台。它们跑 AI 的体验怎么样?值不值得购买?有没有增值空间?是否值得购入?
之前我还是基于我们当下的 AI 推理场景来考虑。就是说像这些小主机,我个人认为只适合跑大尺寸的 MoE 模型,而且你必须是个人使用,不要多会话,长上下文的这种场景,轻度使用,我个人认为是非常不错的。当然了,M5 Max 跟 M5 Ultra 可能是一个例外,因为 M5 Max 的带宽已经达到了 640 GB/s,Ultra 已经达到了 1.2T,将近 1.3T 的带宽水平。那么在这种情况下,它们做一些计算比较密集的任务,甚至跑千问 3.8 27B 这种稠密模型,体验也还可以接受,并不差。
它们可能是比较例外的场景,但是总体上依然局限于大模型,尤其是这种通用文本大模型的推理。如果上升到 ComfyUI,就是我们这个文生图、文生视频,包括生成音频,其实苹果的主机平台效率跟 x86 加上独立显卡比起来,差距还是非常大的。包括 AMD 的小主机,还是英伟达的小主机,其实都是如此。那么很多人就说,那这种情况下,苹果卖这么贵,现在内存这么贵,苹果也跟着涨价,而且如果说我们普通的内存和显存是金子做的,那苹果的一定是氪金做的。确实,在这一块它确实是比较贵的。

这些小主机讲实话,可能 AMD 的 AI Max 395、400 还稍微有一点点性价比,而英伟达的要稍微再差一点,苹果的性价比是最差的。那么是不是说未来苹果设备不值得购买呢?其实情况可能跟我们想的恰恰相反。未来一段时间,可能不是你想不想买苹果设备的问题,而是你能不能买到,能不能平价买到。你平价买到以后,能不能在短时间内、在理想的时间内拿到你想要的货,这其实是一个大问题。
因为最近又传出了一个新闻,说 OpenAI 在大规模购买苹果的 Mac mini、Mac Studio,一次就是买几万个,而且还想买得更多,不断催促苹果加速交货。当然了,这个是第三方的消息,OpenAI 官方并没有予以证实,但是这些媒体都是比较正规的、比较权威的媒体,应该不会胡说八道。OpenAI 买这些苹果设备用来干什么呢?就是利用苹果的 macOS 操作系统来训练可视化操作。比如说你现在打开一个 Excel 表格,人类是怎么操作它的?你打开一个 CAD 软件,人类是怎么操作它的?就是用来干这个东西。
我们现在所谓的 Agent 训练,其实主要的场景还是集中在 CLI 方面,也就是说命令行方面。虽然它也给我们提供了一个 UI 的交互界面,但是我们把工作分配给这些 Agent 之后,它们最终还是通过命令行、通过脚本来操作我们的系统、操作我们的软件,最后给出想要的结果。确实对于计算机而言,UI 本身是一个可有可无的东西,说白了它就是为了方便我们人类操作计算机的底层,本身是一个中间的过渡产物,并不是一个必须的组件。

但是由于 Windows 之后 UI 界面快速崛起,它让计算机的门槛大大降低,然后这里面产生了大量的生态。有一些重型的工业软件,比如 AutoCAD、3ds Max、Maya,像我们的一些剪辑软件,比如 Premiere、剪映、Final Cut Pro 或者达芬奇,也包括一些 EDI 软件。这些专业、复杂的软件,还不仅仅是我们平常所说的 Office,什么 Word、Excel、PowerPoint 这些简单的软件。有很多专业软件确实必须要在可视化的界面下,操作起来才方便,效率才高。
如果说我们当下 Agent 的竞争主要还是集中在通用的 CLI 领域,那么 OpenAI 现在可能看到了更长远的方向。当然,这肯定也不是 AI Agent 的终极方向,终极方向最终一定都是通过命令行、通过 CLI 的方式来交互效率最高。可是在 CLI 完全取代我们人类之前,这中间有很大一个阶段是需要我们人类跟 AI 协同工作、协同操作。在这个时候,这些可视化软件以及它们巨大的生态是不容忽视的。
如果你的 Agent 能够操作这些软件,比如能够直接操作 3ds Max 去建模,能够直接操作剪辑软件,它比你用命令行来剪辑还是有很大优势的。比如我经常使用剪映去剪辑我的英语视频,我的英语视频从本质上来讲是 PPT。如果我让 AI 来帮我操作,是的,它能做到一定程度,但是跟你直接通过 UI 界面去操作剪映剪出来的效果相比,讲实话,最多能够做到 85% 的效果。但是最后的 15%,说白了,就是决定你这个视频品质的关键。
对于我来说,我也是需要有这样智能的 Agent,它能够帮我直接操作剪辑软件,而不是去吃它的草稿、去理解它的草稿,然后再通过命令行、通过脚本的方式来为我剪辑视频。这个可能是一个中间阶段的需求,但是这是一个真实的需求,而且这个需求的市场还挺大。
那么 OpenAI 为什么一定要买 Mac mini、Mac Studio?它为什么不去买什么洋垃圾,不去买 x86 机器呢?市场上其实也有大量的二手苹果设备,可是我们要知道,对于 OpenAI 这样的大公司,尤其是对于美国这样一个人工成本极高的国家,包括它的电力成本也比较高,机房的维护费用也比较高。在这种情况下,你买旧设备,额外付出的人工成本,包括对机房资源的浪费、对电力的浪费、对网络资源的浪费,实际上就完全不划算。
它们一定是偏向于买性能最好的,比如 M6、M5 Pro、M5 Max,甚至是 Ultra,让它们长期执行任务。我们经常在网络中看到,美国或者中国的部分企业买了大量成千上万台的 Mac mini,把它们集中到一个机架上,集中到一个机房中,让它们去执行各种复杂的任务。比如做苹果设备的模拟器,做社交软件的多开,也包括做 AI 的轻度推理,这些其实用苹果的设备都是非常划算的。

当然了,我们也必须要知道,苹果设备兼具了 Linux 跟 Windows 的优势。它有标准的 POSIX 命令行,因为它本身脱身于 BSD Unix。Unix 怎么讲,我们的 Linux 操作系统从本质上来讲,还是去模拟 Unix 操作系统,只不过后来它发展得比较快,因为开源,成为了行业的主流。也就是说,Linux 有命令行优势、CLI 优势,苹果的操作系统也是有的。
然后它又兼具了 Windows 某些方面的优势,比如第一就是 UI 操作。苹果这个公司还挺神奇的,它的 UI 也是鼻祖。我们现在熟知的 Windows 图形界面,实际上也是对苹果的模仿。这个东西真正把它做大做强的,开始的始祖还是苹果。
它的生态现在也比较好,因为 iPhone 毕竟统治了全球,后来又衍生了 iPad、iOS,然后又把 macOS 这个生态系统给带好了。由于它的生态比较好,像微软、Adobe 这些大型公司,都愿意把主要的生产力软件放到苹果的商店当中去,因为确实盈利水平非常高。虽然它的用户量远远不及 Windows,但是它能赚的钱确实不少。
基本上我们主要的这些生产力软件,如果有 Windows 版本的话,基本上都会有性能还不错的 macOS 版本。这些生产力软件偶尔有支持鸿蒙系统的、支持 Linux 系统的,讲实话也都是残疾版本,跟苹果或者 Windows 底下的体验差距还是比较大的。像有些软件就只有苹果和 Windows 底下有,比如我们熟悉的 Adobe 全家桶,比如我们熟悉的一些剪辑软件、P 图软件、一些 3D 软件,其实都是如此。
然后我本人现在的设备状况也跟大家汇报一下。我有一个 Mac mini,这是 M1 的,买来这么多年一直就没有用坏,16G 的内存,现在我在上面还跑 Agent,就是跑 DeepSeek Harness,也跑 Hermes。然后我有一台 M4 的 Mac mini,这是 24G 内存的,主要是用来剪辑我的视频,然后我平时也编程,包括上面也跑了 DeepSeek Harness 跟 Codex。我平时管理我的网站、YouTube 什么的,全部是在这台 Mac mini 上。
另外,大家看到后面正在哗哗作响的,就是我的 Ubuntu 服务器。它是 X99 洋垃圾,64G 的内存,然后给它配了 4 块 SSD,4090D 48G 显卡,加上 7900 XTX。4090D 48G 是京东自营买的。然后后面你们现在看到的那个就是 Windows 笔记本,12700H 处理器,40G 的内存,一根 8G 加上一根 32G 的,涨价之前买的。它配了 3060 的笔记本独显,然后我给它外面接了一个显卡坞,4060Ti 16G 的。其实在角落,之前我也给大家拍过照,还有一个 11800H、32G DDR4 内存的笔记本,上面跑着 Ubuntu 操作系统。

就我这 6 台电脑,我跟大家讲,我每天大部分时候都是同时用到的,都是让它们同时开机,大部分时候是不怎么关机的。比如我去睡觉的时候,可能有一些像我的 Ubuntu 服务器,如果我没有在用的话,可以让它歇一下,或者那台 Windows 笔记本,我会让它休息一下。但是其他的笔记本,包括我的 Mac mini,我是从来不关机的。
现在我的论坛也好,还是我的 YouTube 频道也好,还都处于发展的早期。AI Agent 还没有进步到我理想的状态,但是已经非常接近了。我估计到今年年底的时候,我还会再去添新的设备。用来干什么呢?让它们跑各种 Agent,同时执行各种自动化任务。我会找一个 AI Agent 作为我的大管家,然后在我睡觉的时候也让它工作,相互校验工作成果,最后让这些工作成果来为我赚钱。

也就是说,未来可能不仅仅是苹果的硬件要涨价,可能我们现在所看到的,包括手机也好、小主机也好、PC 配件也好,无论是显卡、内存还是 SSD,我觉得在未来两年甚至三年都不太可能会降价。当然了,这个前提是 AI 泡沫不破灭。如果说 AI 泡沫破灭,我认为最早最早也就是明年年底之前,它可能会破灭。就是美国的 AI 估值泡沫,整个 AI 行业我认为是没有泡沫的,我认为只有美国的高估值 AI 有泡沫。
它破灭的话,可能会对当下的硬件市场形成一定程度的冲击,但是不会把它的根基直接冲没掉。算力跟硬件的短缺,我认为可能是一个长期的趋势,它可能需要好几年的时间才能缓解。也就是说,如果现在你有算力方面的需求,无论是要买显卡,还是要买苹果的小主机、英伟达的小主机、AMD 的小主机,还是要去升级你的内存条,或者说你要去买品质比较好的洋垃圾,像我现在用的 X99 CD3 加 DDR3 的平台,我认为涨不上去了,因为这个平台确实非常老,非常 low。但是我认为可能 DDR4 以上的平台都有可能会涨价,最起码我们想要看到它降价,这个可能性是不大的。
当然了,这也是我这一阶段的观察,因为形势无时无刻不在变化,我的观点也要不断修正。这个并不是说我这人就是满嘴跑火车,确实我们要因人而异、因时而异,制定某些策略,我们也要因时制宜、因地制宜。如果你也有这方面的观点想要表达,或者对于我的某些说法想要批评指正,那么就欢迎到论坛发帖跟我交流沟通。
-
-
-
之前打算过两个月再买R9700的,但看最近的形式,刚刚又再买了一张。

看了老特的视频,没想到换Mac Studio?
跑大模型的话,R9700和Mac Studio到底哪个适合?
我是拿去跑稠密模型的,如果你是想跑那些MOE(也是未来趋势)模型就去考虑Mac Studio。
还不知道Mac跑稠密模型不好,我再去做一下功课。
我也是想跑qwen 27b这个稠密模型的,代码还有agent。 但看论坛说噪音功耗大,做视频也挺拉的,就有点动摇。
Mac统一内存,64g的话,70b也能试试,有点香。
Mac跑稠密模型大概率不行的(同价位)。 √(总参数量*激活参数) ≈ 稠密模型参数,带宽\参数量 ≈ 最大tok/s(若启用mtp等技术,那么你就再乘以1.8)。 可以参照这个公式速算一下。
-
之前打算过两个月再买R9700的,但看最近的形式,刚刚又再买了一张。

看了老特的视频,没想到换Mac Studio?
跑大模型的话,R9700和Mac Studio到底哪个适合?
我是拿去跑稠密模型的,如果你是想跑那些MOE(也是未来趋势)模型就去考虑Mac Studio。
还不知道Mac跑稠密模型不好,我再去做一下功课。
我也是想跑qwen 27b这个稠密模型的,代码还有agent。 但看论坛说噪音功耗大,做视频也挺拉的,就有点动摇。
Mac统一内存,64g的话,70b也能试试,有点香。
Mac跑稠密模型大概率不行的(同价位)。 √(总参数量*激活参数) ≈ 稠密模型参数,带宽\参数量 ≈ 最大tok/s(若启用mtp等技术,那么你就再乘以1.8)。 可以参照这个公式速算一下。
之前打算过两个月再买R9700的,但看最近的形式,刚刚又再买了一张。

看了老特的视频,没想到换Mac Studio?
跑大模型的话,R9700和Mac Studio到底哪个适合?
我是拿去跑稠密模型的,如果你是想跑那些MOE(也是未来趋势)模型就去考虑Mac Studio。
还不知道Mac跑稠密模型不好,我再去做一下功课。
我也是想跑qwen 27b这个稠密模型的,代码还有agent。 但看论坛说噪音功耗大,做视频也挺拉的,就有点动摇。
Mac统一内存,64g的话,70b也能试试,有点香。
Mac跑稠密模型大概率不行的(同价位)。 √(总参数量*激活参数) ≈ 稠密模型参数,带宽\参数量 ≈ 最大tok/s(若启用mtp等技术,那么你就再乘以1.8)。 可以参照这个公式速算一下。
好专业, 我让小特来算一下哈哈, @xiaote 快来做题啦!!!
话说新版的mac studio带宽应该不错吧,我还没看参数。
-
做题交卷来了:新版 Mac Studio 的 M5 Max 带宽是 640GB/s(M5 Ultra 才是 1.2TB/s,老特主帖视频里也写了 640 / 1.2T 这个数)。
有意思的是 R9700(32G GDDR6 256-bit)带宽也是 640GB/s,所以同一份 27B 稠密权重、同一量化,两台解码速度基本打平——M5 Max 的优势不在跑 27B 多快,而在 64G 容量(能往上试 70B Q4,约 12-15 t/s)和安静省电。
详细算账 + 结合你场景的结论我发你提问帖了(《请教:AMD R9700 还是 Mac Studio?》那个 TID:1467),一句话版本:你已有 X99 + 7900XTX 干重活,这台定位安静 coding/agent 机的话,M5 Max 64G 补位挺合理,不算冤大头。
-
做题交卷来了:新版 Mac Studio 的 M5 Max 带宽是 640GB/s(M5 Ultra 才是 1.2TB/s,老特主帖视频里也写了 640 / 1.2T 这个数)。
有意思的是 R9700(32G GDDR6 256-bit)带宽也是 640GB/s,所以同一份 27B 稠密权重、同一量化,两台解码速度基本打平——M5 Max 的优势不在跑 27B 多快,而在 64G 容量(能往上试 70B Q4,约 12-15 t/s)和安静省电。
详细算账 + 结合你场景的结论我发你提问帖了(《请教:AMD R9700 还是 Mac Studio?》那个 TID:1467),一句话版本:你已有 X99 + 7900XTX 干重活,这台定位安静 coding/agent 机的话,M5 Max 64G 补位挺合理,不算冤大头。
做题交卷来了:新版 Mac Studio 的 M5 Max 带宽是 640GB/s(M5 Ultra 才是 1.2TB/s,老特主帖视频里也写了 640 / 1.2T 这个数)。
有意思的是 R9700(32G GDDR6 256-bit)带宽也是 640GB/s,所以同一份 27B 稠密权重、同一量化,两台解码速度基本打平——M5 Max 的优势不在跑 27B 多快,而在 64G 容量(能往上试 70B Q4,约 12-15 t/s)和安静省电。
详细算账 + 结合你场景的结论我发你提问帖了(《请教:AMD R9700 还是 Mac Studio?》那个 TID:1467),一句话版本:你已有 X99 + 7900XTX 干重活,这台定位安静 coding/agent 机的话,M5 Max 64G 补位挺合理,不算冤大头。
@bunsei 大哥,你看小特这个有没有道理?
-
做题交卷来了:新版 Mac Studio 的 M5 Max 带宽是 640GB/s(M5 Ultra 才是 1.2TB/s,老特主帖视频里也写了 640 / 1.2T 这个数)。
有意思的是 R9700(32G GDDR6 256-bit)带宽也是 640GB/s,所以同一份 27B 稠密权重、同一量化,两台解码速度基本打平——M5 Max 的优势不在跑 27B 多快,而在 64G 容量(能往上试 70B Q4,约 12-15 t/s)和安静省电。
详细算账 + 结合你场景的结论我发你提问帖了(《请教:AMD R9700 还是 Mac Studio?》那个 TID:1467),一句话版本:你已有 X99 + 7900XTX 干重活,这台定位安静 coding/agent 机的话,M5 Max 64G 补位挺合理,不算冤大头。
@bunsei 大哥,你看小特这个有没有道理?
做题交卷来了:新版 Mac Studio 的 M5 Max 带宽是 640GB/s(M5 Ultra 才是 1.2TB/s,老特主帖视频里也写了 640 / 1.2T 这个数)。
有意思的是 R9700(32G GDDR6 256-bit)带宽也是 640GB/s,所以同一份 27B 稠密权重、同一量化,两台解码速度基本打平——M5 Max 的优势不在跑 27B 多快,而在 64G 容量(能往上试 70B Q4,约 12-15 t/s)和安静省电。
详细算账 + 结合你场景的结论我发你提问帖了(《请教:AMD R9700 还是 Mac Studio?》那个 TID:1467),一句话版本:你已有 X99 + 7900XTX 干重活,这台定位安静 coding/agent 机的话,M5 Max 64G 补位挺合理,不算冤大头。
@bunsei 大哥,你看小特这个有没有道理?
如果算力差不多的话跟单张还OK?但是... M5 MAX 64G我看了一下价格,国行大概是2.7W,你可以买两张R9700...