本地AI部署革命，16G显卡焕发新生，AMD/英伟达/苹果小主机处境不同！在线AI模型帮助改善本地部署，飞轮效应已经显现！
-
最近本地AI部署技术可以说是日新月异啊。你只要没注意，像我啊，这两天基本上都在玩游戏，然后更新的时候就有点草率了，论坛的帖子我也没有怎么认真看。我再上去看的时候，发现自己就有点落伍了。像前几天比较火的HaloGen、NInfer，我基本上都没怎么测试。NInfer我测了一下，HaloGen我还没有来得及部署，但是NInfer我测的也不多，没有别人玩得那么深。另外就是这两天比较火的Strata，我还一直没找到时间去测。这个Strata现在火到什么程度呢？就是论坛有大量的帖子冒出来，无论你是AMD还是英伟达的显卡，比如一些老卡，16G显存的、12G显存的，都能跑。像RX 9070、7900 XTX、R9700这种卡都跑得非常嗨，然后英伟达就更不用说了，3060 12G都有人拿过来跑了，就把六爷都给复活了。然后什么3090、5060 Ti、5070，这些卡基本上都能跑。论坛有大量帖子，而且跑起来的效果还不错。
那么我之前在上一个视频中说，这一波新架构的技术创新，本质上就是跟AMD、英伟达，包括苹果的小主机走的原理差不多，就是用一个比较大的内存搭配一个比较强的GPU核心。但是不同之处在于，目前Strata这个方案是把你自己买来的这些平民价格的内存，无论是DDR3、DDR4还是DDR5的内存，把它跟你的独立显卡显存结合起来。把热门的专家放到显存中，把框架的核心部分放到显存中，然后把冷门的KV缓存以及一些权重文件放到内存中来。这样分层之后，它能够达到类似小主机统一内存的效果。当然了，它肯定没有小主机那种本来就是统一内存、GPU跟CPU之间共享数据的效率高，但是由于优化做得不错，现在本地大内存加上独立显卡跑出来的效果，完全不输给小主机，甚至体验还更好。
那么我想说，首当其冲受到影响的就是AMD的小主机。最近AMD发布了这些小主机，四万大几、五万的价格，还是AI Max 395、400，改了个名字叫495，就把玩家当傻逼，把消费者当傻逼。它们能够干的活，事实上也就是跑个千问3.8 Flash。它如果想比较流畅地跑DeepSeek V4 Flash或者GLM 5.3 Flash这样的顶级旗舰开源MOE模型，也是做不到的。如果说涉及跑ComfyUI，你画图的话，小主机还能玩一玩，生成视频那就慢得跟狗屎一样，完全不如大内存加一张独立显卡，特别是一张24G的独立显卡。
然后英伟达的小主机呢？怎么讲，DGX Spark，还是最近出来比较昂贵的RTX Spark笔记本。讲实话，DGX Spark由于双机互联、双机并联，能够跑DeepSeek V4 Flash或者GLM 5.3 Flash，或者跑一些其他比较新的AI大模型，效率还是比较高的。即便跑ComfyUI画图或者生成视频，由于它是英伟达的生态，这两个小盒子虽然慢，但是两个小盒子并联起来，效率也是要吊打AMD的，所以它除了贵，受到的冲击并没有那么大。然后RTX Spark这种笔记本，如果买笔记本的，我相信基本上也不是特别追求效率，能受到一定影响吧。
另外就是苹果的小盒子。我必须说，苹果的小盒子受到影响最小，因为这种新技术出来，苹果生态有很多人愿意折腾。苹果都是一些高价值用户嘛，相同获客成本的情况下，你在苹果生态中做出同样的用户数量，获利空间要更大，所以苹果生态一定会有人折腾。而且我说过很多次，苹果的价值不仅仅在于它能不能跑AI。苹果设备目前来说就是最好的本地办公、搞生产力、驾驭AI、掌控其他AI入口的设备，它就是最好的。第一，它的macOS操作系统相比Linux生态更加丰富一点，更适合新人入手；相比Windows，它的稳定性可以说好出好几个层次。
那么说完小主机了，我们再谈一谈刚才提到的那么多显卡，哪些显卡获利程度最大。还是英伟达的显卡，像5070 Ti、5080或者4080这样的出厂16G显存、还没有魔改的卡，或者说50系列没办法魔改。它们本来跑大模型是非常废物的，现在由于GPU算力非常强悍、显存带宽比较高，英伟达生态又比较好，如果搭配足够量的内存，主板本身性能还不错，接口又是PCIe 4.0或者5.0，那么推理效率会大大提升，体验会好过那些小主机。反正你已经买了这种卡，本地可以用来玩游戏、搞一些生产、剪辑视频，或者做一些轻度的3D创作，那完全都是够的嘛。当然了，即便要跑ComfyUI视频，由于英伟达框架和驱动做得好，它的分层卸载策略比AMD好，在使用内存作为显存缓存的时候，效率也比AMD显卡好很多。虽然生成视频依然慢，但是慢的程度是可以接受的，基本上跟使用统一内存小主机的速度差不多。那在这种情况下，如果你有5070 Ti、5080、4080，甚至5060 Ti，体验也还不错，就完全没有必要羡慕那些小主机用户了，你在任何场景下的体验都要比他们更好。
然后就是AMD的几个卡，最主要的就是9070跟9070 XT，甚至你可能有9060。以前你是16G显存，也玩不了AI推理，现在可以玩了，而且是有生产力的。跑千问3.8 Flash Next这个模型，质地还是完全在线的。本身16G显存用来跑ComfyUI画图没什么问题，用来跑视频当然有点差强人意，因为AMD驱动做得比较烂，生态比较烂。如果使用内存作为显存缓存，效率牺牲比英伟达N卡要大很多。但是也不妨碍它能玩了。你看看去下载机智罗的盒子，看看优化优化，基本上折腾一些小的demo都还是能搞的。
然后视频最后我还说一下，以前我们认为在线模型进步非常快，但是我们没有考虑过一个问题：在线模型变得越来越聪明之后，我们本地这些垃圾显卡、入门级显卡，以前没有什么战斗力，但是由于很多人使用在线的很牛逼的模型帮助他们开发推理框架，导致各种各样的框架出来，而且用AI来改善本地部署AI的体验，这个东西是一个飞轮。一旦转起来，很有可能一些老旧硬件也能重新发挥作用。之前像3060 12G这种卡，我都觉得完全上不了台面，觉得这卡干什么，浪费时间。现在人家也能跑了，虽然比较慢，但是也能像模像样地搞起生产力了，生产力这三个字都能堂而皇之地进入3060的范围了。
我相信可能再过一阵子，随着越来越多达人使用AI来开发，随着社区不断繁荣，包括Reddit、X，也包括我经营的这个小论坛，这种比较专注于AI领域的小论坛，越来越多的人来分享这些信息，本地部署的可玩性会越来越高。最近这段时间我在休息，每天更新视频都比较随意，也比较水，质量可能并不是太好，就是对着镜头瞎逼逼，大家体谅一下。你说不更新嘛，这东西毕竟要挣钱，得养家糊口；你说跟进嘛，像极客湾这些大神，像模像样地做一期视频，我又没那个时间，我还得放松放松。大家见谅一下，有什么意见可以在评论区留言，也可以到论坛发帖交流讨论。
-
-
-
@AFK 說好的長鑫 長江 便宜的國產呢?啥時要解放全世界? 我看價格也是貼著大廠走呀? 還是要跟美系韓系存儲一起同流合汙?
@dardeaw-feng 想买8条ddr4
-
-
-
-
这样看来内存要加起来了 ddr3可以么 ddr4太贵了
@Grayson-Ren 可以，没D4 D5顺滑，差距不是很大。更多是心理因素。
-
如果rtx spark 64g 在4000美金之内，我相信我也有兴趣，我知道那个comfy ui 反正大约vram + dram 加起来也差不多50g之内，毕竟现在的rtxpro 4000 24g 也要4000美金了。。。
算起来rtx spark 就是5070 的32gb 版本 加上分给内存用32gb, 这样来看，算是心理安慰总算可以买到相当不错的机器
@imbiplaza-ASUS 我弟你这样的土豪还研究价格，不是浪费生命吗？
-
@Grayson-Ren 可以，没D4 D5顺滑，差距不是很大。更多是心理因素。
-
@imbiplaza-ASUS 我弟你这样的土豪还研究价格，不是浪费生命吗？
