跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
  1. 主页
  2. 版块
  3. AI硬件
  4. DeepSeek V4.1 Flash发布,AI小盒子迎来春天, AMD/英伟达/苹果 小主机怎么选择?

DeepSeek V4.1 Flash发布,AI小盒子迎来春天, AMD/英伟达/苹果 小主机怎么选择?

已定时 已固定 已锁定 已移动 AI硬件
6 帖子 4 发布者 249 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT 离线
    terryT 离线
    terry
    超级版主
    编写于 最后由 terry 编辑
    #1

    今天这期视频,我们再谈一谈 AI 小盒子,就是 AMD 的 AI Max 395、400,英伟达的 DGX Spark,然后苹果的 M5 Max 和 Ultra。

    为什么呢?因为最近 DeepSeek V4.1 Flash 这个重磅模型发布了。那么这个模型可以说是相当牛逼。经过我这两天的实测,我一开始认为它可能能够勉强替代 DeepSeek V4 Pro,但是深度使用之后,我发现它是完全可以替代 DeepSeek V4 Pro。并且论坛有人发帖子,就是比较权威的这些机构,他们测评之后认为,DeepSeek V4.1 Flash 在很多任务场景中,都能够跟 GPT-5.6 Astra、Claude Fable 5.1 这样的顶级旗舰模型做到稍微落后一点的水平,它的成本却要低上一两个档次。那么这个模型刚好就能够在小盒子上跑起来,在这种情况下就不得不讲它了,就把这个小盒子再提一下。

    AI小盒子春天.jpeg

    虽然我本地都是跑千问 3.8 27B,我一直主张大家去买独立显卡,比如说 4090 48G、7900 XTX,或者 RTX Pro 4500、5000、6000。因为它们能够在本地跑大模型的同时,也能够跑 MiniMax H3、LTX 2.3 这样的视频模型,跑 ComfyUI 生态,生产力是非常不错的。但是毕竟它们是跑不了 DeepSeek V4 Flash 这样的,可以说是目前性价比最高的模型。

    那么我们首先从 AMD 谈起。AMD 这家公司,它的 AI Max 395 跟 400 现在陆续发布了。395 好像是 128G 的内存,400 好像是可以支持到 192G 的。但是我有点没搞清楚,你说它为什么不搞 256G 版本的呢?我还去问了一下 AI,这家公司 TMD 非常脑残,知道吗?它在设计这个芯片的时候,它的硬件规格就只能跑到 192G,就支持不到 256G。你说这个硬件设计师得有多脑残才能够想得出来?

    而且它这个 395 在市场反响比较一般的情况下,你这个 400 出来,就算说核心部分你不去改,你起码把 395 的一些大毛病给它修改掉啊。比如说它两台小盒子之间没有高速的互联方案,不像英伟达,英伟达有高速的互联方案,可以两台 128G 的盒子合到一起,形成 256G 的统一显存池、内存池,AMD 不能。那么如果说你买 395 的话,你就只能跑什么千问 3.8 Flash,或者千问 3.8 27B。这两个模型在小盒子上跑都是非常慢,就响应速度很慢。

    这个 3.8 Flash,它不要说本地的小盒子跑,它就是你用什么 RTX Pro 5000、6000 来跑,它也慢,就这个模型本身有问题。然后千问 3.8 27B,由于是稠密模型,它同时激活 270 亿参数,比跑 DeepSeek V4 Flash 的时候激活 13B,这个算力负担更大,对于算力跟带宽的要求就更高。那么 AMD 的小盒子跑起来,就算是你把 SGLang 给它部署到位了,它这个体验也是不怎么样的。你加入什么 DFlash 2、投机解码,它的响应其实也都一般。

    AIMax395迷你主机.jpg

    如果说你升级到 AI Max 400,能够买这个新的版本,买这个 192G 内存版本,那你就很尴尬。因为 DeepSeek V4 Flash 这个家族,它是 NVFP4 跟 FP8 的混合模型,它这个模型本身的尺寸大概是 140G 左右,140 多 G。你放上去之后,再扣除系统开销,扣除框架开销,那你剩下来的就只能跑单个会话长上下文。你想多开,难度很高。

    你很难理解这家公司为什么会这么脑残。它这么多年来被英伟达吊打是有原因的,就是它设计产品的时候非常粗暴,非常粗放,完全不考虑市场需求。可能他们的设计师也用英伟达的显卡,他可能不用自家的显卡。你比如说它跟英特尔去搞芯片竞争的时候,我们都认为它胜出市场之后会回馈我们玩家,把 CPU 的价格做下来,结果并不是。它非常邪恶,跟英特尔长期联手推高 CPU 的入门价格,我们一点便宜都没占到。

    再比如说它搞显卡的时候,它非常鸡贼。它知道自家的显卡性能、生态没有英伟达好。好比说英伟达的显卡卖 5000,那我扣除生态,我就卖 4000。你虽然看起来买它的卡,同样的规格你省了 1000 块钱,但是这 1000 块钱你付出的体验差距,这就是你支付的价格。你实际上一毛钱便宜都没赚到,相反你还有可能亏得更多,给 AMD 做了小白鼠。这么多年来,一些游戏行业的创新,当然并不是每一项游戏创新都是好的,基本上都是英伟达搞的。比如说光追,再比如插帧,就是 DLSS,就是 AI 插帧。AMD 搞了个叫什么 FSR,就是永远是老黄做什么作业,它在后面抄什么作业,关键每次抄得都不彻底,抄得都不好,然后又不愿意真正给玩家让利,就非常鸡贼。

    你说前一阵子我推荐它的显卡,就是什么 7900 XTX、AI Pro R9700,那你这个时候不应该多推出一点类似的产品吗?市场中像我们这些屌丝都被老黄的刀法割得有点疼了,你这个时候推出一些好的产品,最起码说你能跟什么 4080S 32G,跟什么 4090 48G 魔改卡干一干。你都不要去比什么 RTX Pro 5000、6000 了,你推出这样的卡,卖得便宜一点,让利一下玩家,你生态不就起来了吗?并不会。它只要出新的产品,它就贵得很,价格就对标老黄。它给你让的利永远是在生态上面吃的亏,就是你吃多少亏,它给你让多少利。

    撼讯AI Pro R9700.png

    它的小盒子你就不要碰了。但如果说你现在就已经买了,我就建议你认真去研究一下 SGLang 了,研究一下 DFlash、DeepSeek 这些技术,它能够缓解你的痛苦。把千问 3.8 27B 给跑好就行了,其他的就不要多想了。你也不要买它的盒子来跑 DeepSeek V4 Flash,因为那样子很傻。

    下面就说英伟达的小盒子。DGX Spark 两台能够跑 V4 Flash,这个是经过社区的多轮实测,然后我们论坛也有不少帖子是实测跑起来的,体验是非常不错的,有真实的帖子。你们可以到论坛去跟这些大神交流,跟实际跑起来的人交流,看看他们是怎么配置的。这一块你就不用犹豫了,如果说你刚好有这么七八万块钱预算在,你想在本地跑 DeepSeek V4 Flash,哪怕说你也想跑千问 3.8 都可以,甚至它跑千问 3.8 Flash 也比 AMD 的机器快。

    如果说你还想兼容一下 ComfyUI,它的 ComfyUI 确实跑起来是慢了。跑 MiniMax H3,跑 LTX 2.3,都慢得跟乌龟一样。但是你毕竟是买了两个盒子嘛,你同时跑嘛,它毕竟还是能跑的嘛。买老黄的东西就是没有什么压力。它两台盒子高速互联,这个互联带宽达到了 200 GB/s,是非常夸张的。你可以对比一下雷电 5,苹果现在如果说你两台盒子互联的话,它是雷电 5。雷电 5 是 80G,这个 80G 里面并不是所有东西都可以拿出来的,它只有 60 GB/s 左右可以用来通信。

    双DGX Spark.jpg

    你就可以想象一下,老黄的这个互联方案也好,还是这个小盒子它本身这个价值也好,我认为它未来有很长一段时间的可玩性。虽然 V4.1 Flash 可能说官方放出之后,还得再延续一个多月之后才会把权重开放,那么你从现在算,满打满算四五十天、两个月呗,满打满算你也就能够用上了。那这个模型比起当下这个 V4 Flash 牛逼在哪里?第一是它的跑分应该会高出一截,第二就是做任务的能力很强,第三它是原生的多模态。这个可能到时候又会有一些新的玩法出来。况且就算是现在你用 V4 Flash 的视觉版本,它本身就能够非常好地干活了,性价比就非常高了。

    这个盒子是值得长期持有的,未来有可能还会再涨价。甚至我们可以关注一下,搞不好老黄这个比较鸡贼的奸商,它也有可能会发布下一代的产品。但是那可能要很长的时间了,因为它刚刚发布了 RTX Spark,这个笔记本也是引用了相同的架构。我觉得怎么也得等明年了。这个时间我觉得,如果说你有钱的话,要马上入手,那我觉得就不要等了。这个小盒子它未来的保值率一定是非常不错的。

    rtx spark 笔记本.jpg

    当然了,我们要接受它是 ARM 的生态,它没有即插即用的 Windows。有了 Windows 之后,它的生态跟标准的 x86 Windows 也是有差距的,这是它明显不如 AI Max 395、400 的一个地方。但是相信你买来是跑 AI 的,也不是用它来办公的,那这个体验差距我认为是可以接受的。甚至即便是你办公,你想办法把 ARM Windows 给它装上去,它体验也差不到哪去,轻度的办公都能用。

    最后就是讲一讲苹果。苹果就是说 M5 Max 本身就能打,它用来跑千问 3.8 27B,是这三个盒子中应该说表现最好的,因为它是 640G 的带宽。然后如果是 M5 Ultra 的话,它是两个 Max 并联在一起,它芯片间的互联带宽高达几个 T,总体的显存带宽好像是 1.2 TB/s,将近 1.3 TB/s,这个是非常能打的一个数字了。

    如果说你预算比较低,那么你就买 M5 Max,买 128G 版本的,用在本地跑千问 3.8 27B,或者说是 Flash。它同时还能够有大量的内存余量用来办公、用来编程。苹果的操作系统体验还是非常棒、非常稳定的,你也可以把 Agent 跑在这一个盒子上,它的可玩性还是非常不错的。但是必须要说,它跑不了 ComfyUI。苹果是这三个盒子中跑 ComfyUI 最差的,因为它的生态兼容性不好,而且苹果的所有芯片,包括 M5 在内,它这个 FP32 的原始卷积算力是最低的,这一块是天生残疾。苹果设计的时候就没有为这个场景考虑。就算是你勉强把 ComfyUI 跑起来,它速度也是慢得很。当然了,它画图是没问题的,跑音频是没问题的,视频这一块就可以洗洗睡了。

    苹果m5 max跑分.jpg

    你能接受这个缺点,苹果的小盒子性价比是非常高的。然后如果说你要买 Ultra 256G 的,它是肯定可以把 DeepSeek V4 Flash 给跑起来的。当然了,你需要知道它有一些硬性的缺点,就是它本身没有什么 FP4、FP8,它推理的时候只能使用 BF16 来推理。当然了,这个也不是问题了,因为毕竟这么大的带宽在这里。

    它还有一个你必须面对的现实,就是它的生态远远不如 AMD 跟英伟达。最主要的一个表现就是 SGLang。你当下如果要跑 Agent 的话,我跟你讲,你部署 llama.cpp,部署 vLLM,它们单会话可能说还可以,一旦多会话、长上下文,你必须要上 SGLang 了。因为 Radix 缓存树,我强调过多少次,你们一定要去论坛认真学习一下这些基础的概念。Radix 缓存树是非常重要的,它能够对新的请求只做增量部分的 prefill,不用每次 prefill 一大段,这个可以大大降低显卡的负载压力。在小盒子上,它降低的压力带来的意义就尤为重要。

    但是我们也不用感到悲观,因为我也去研究了一下,社区现在已经有版本,它不是主干版本,不是 SGLang 官方的主干版本,可以支持 Radix 缓存树,但是有副作用,也有一些 Bug。我相信现在即便它不能支持,你用原始的 prefill 方式,它也能玩 DeepSeek V4 Flash,肯定是能够跑起来的,体验是不会差的。你只要是买了 M5 Ultra 256G,是肯定够的。

    sg-lang.png

    未来就是 Radix 缓存树一定会被官方给它加入到苹果的 MLX 生态中去的,因为 SGLang 官方已经支持了 MLX 后端,只不过暂时还没有把 Radix 缓存树给它加入进来,这个是迟早的事情。社区跑完之后,肯定会有很多人向 SGLang 的官方主版本提交请求,一旦成熟了,会被主版本合并。到那个时候,你跑 DeepSeek V4.1 Flash,或者说那个时候可能都已经 4.2 Flash 了,那这体验是不会差的。

    最后总结一下,就是如果说你现在一定要买小盒子,AMD 的小盒子便宜,但是我必须跟你讲,这小盒子也是最垃圾的。你不能对它有太高的期望,它跑起来的体验是最差的。然后英伟达的小盒子表现是最好的,最有性价比的,也是最有保值空间的,将来甚至有可能有升值空间,如果说这个算力荒持续的话,硬件荒持续的话。

    DGX Spark 1.jpg

    对了,英伟达的小盒子送你 4 个 TB,每个小盒子送你 4 个 TB 的存储空间,这个当下来说也是一个价值。这两个小盒子能够为你在本地搭建你私有的一个 NAS,这是附带的。它本身跑 ComfyUI、跑 DeepSeek V4 Flash,体验都是非常不错的。画图、音频,当然了视频可能要慢一点,那个是小盒子的硬伤,这是通用的硬伤。

    然后如果是买苹果的话,就是你像我一样,平时在苹果的机器上面办公、编程,同时你希望能跑个 DeepSeek V4 Flash,或者说跑个千问 3.8 27B,那都可以的,它都能做得到。当然了,它 8 万多的价格也是这三个方案中最贵的单机,单机就 8 万,这个就是见仁见智的,看你怎么想。

    如果说你有相关疑问、相关的话题想要讨论,就欢迎到论坛中去看看大神们是怎么测的。他们已经有真实设备测试出来的数据,这个比我在这里 BB 要更有价值。我也让 AI 整理了我们论坛的帖子,把官方的硬件规格数据都整理到了硬件的专页中去,也把我们论坛中相关测试的帖子给附带进去了,链接都加到这些专页中去了。你们点点鼠标就能看得到,或者在手机上滑一滑屏幕就能看得到。

    油管:https://www.youtube.com/@抡锤者

    1 条回复 最后回复
    2
    • terryT 离线
      terryT 离线
      terry
      超级版主
      编写于 最后由 编辑
      #2

      Youtube Video

      油管:https://www.youtube.com/@抡锤者

      1 条回复 最后回复
      1
      • 番茄胡萝卜番 离线
        番茄胡萝卜番 离线
        番茄胡萝卜
        编写于 最后由 编辑
        #3

        已阅,估计会涨价吗

        terryT 1 条回复 最后回复
        0
        • 番茄胡萝卜番 番茄胡萝卜

          已阅,估计会涨价吗

          terryT 离线
          terryT 离线
          terry
          超级版主
          编写于 最后由 编辑
          #4

          @番茄胡萝卜 涨价是正常的硬件涨价,主要是V4.1升级了,要3个Spark才能跑得动,明天谈谈看法。

          油管:https://www.youtube.com/@抡锤者

          dardeaw fengD 1 条回复 最后回复
          0
          • terryT terry

            @番茄胡萝卜 涨价是正常的硬件涨价,主要是V4.1升级了,要3个Spark才能跑得动,明天谈谈看法。

            dardeaw fengD 在线
            dardeaw fengD 在线
            dardeaw feng
            编写于 最后由 编辑
            #5

            @terry 要漲也是DeepSeek API漲,但漲不動就降價了,搞啥地端LLM

            1 条回复 最后回复
            0
            • 許托比許 离线
              許托比許 离线
              許托比
              编写于 最后由 编辑
              #6

              Mac studio等 512gb可以跑不錯的量化版本,radix完整支援mac以後mac studio 在地端Moe 就一桶漿糊了

              1 条回复 最后回复
              0

              你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

              厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

              有了你的建议,这篇帖子会更精彩哦 💗

              注册 登录
              回复
              • 在新帖中回复
              登录后回复
              • 从旧到新
              • 从新到旧
              • 最多赞同


              • 登录

              • 登录或注册以进行搜索。
              • 第一个帖子
                最后一个帖子
              0
              • 版块
              • 最新
              • 标签
              • 热门
              • 用户
              • 群组