4 DGX Spark跑DeepSeek V4.1 Flash实测：长上下文多并发体验拉满，TTFT 1秒以内，性价比超苹果M5 Ultra 512G，RTX Pro 6000！
-
啊，本期视频我们来谈一谈4个DGX Spark来这个跑DeepSeek，它的表现啊，DeepSeek V4.1 Flash 1017版本。那么帖子的数据是论坛的大神Benton Yi，啊，我的易哥。为什么叫易哥呢？是吧，凡是我叫某某哥的，基本上都是大神，是吧，比较有钱，住着大别野，是吧，家里面这个条件比较地好。我呢，万一以后经营不下去了，啊，我就去给他们当保安，是吧？我们论坛还是有不少富豪的，是吧？如果说没有雄杰高啊，没有高兄这样的帅气的样貌，是吧，不羁的风采，那么当保安是一个非常不错的保底选项。
他呢，是很早之前啊，就买了这个四个DGX Spark，这还分两个牌子，华硕和技嘉。他是现在终于用这个什么3D支架啊，这是3D打印做的这个支架，给它组装好了。黑色一组，橙色一组，逼格非常地高。然后还专门找了块石头，这是石头吧？还是木头啊？哦，应该是木头。啊，非常地有这个艺术感。然后我觉得这里面比较抢眼的就是这个风扇了啊。说实话，你很多散热方案，其实最终啊，你放一个风扇在旁边吹，啊，大一点的风扇都是比较好的选择。那么这是他在装备秀中发的，我就跟他说，我说要测个数据，是吧？
其实我讲实话，论坛的大神们都是比较给面子的啊。有什么比较牛逼显卡的，包括RTX Pro 6000呐、5000呐，是吧，还有这个什么DGX Spark，也包括苹果的M5 Ultra、M3 Ultra，256G、512G版本的都有人有啊。M3的是512G的，啊，M5的是256G的，人家第一批拿到货，都这个在论坛贡献了详细的数据。然后呢，我呢，就终于不用，是吧，被评论区的一些喷子们喷，是吧？就你那个装备，你有什么资格谈M5 Ultra？是吧，你有什么资格谈DGX Spark？你买了RTX Pro 6000吗？是吧，我没有买，但是论坛的弟兄们都有啊。啊，别人就是给面子，我叫别人测，别人就是测嘛，是吧？这个你们不服是不行的。
那这个论坛，很多人说，哎呀，这个做个论坛，当时确实是非常明智的选择，是吧？你只是看见贼吃肉，没看见贼挨打。你自己来搞个论坛看看，是吧，到时候你就知道有多少事情等着你呢。你还别说，我还为这个论坛开发了APP，是吧？你自己可以尝试一下，虽然现在AI已经比较智能了，是吧，看看你们能不能搞得定。啊，接下来我们不吹牛逼啊，我们直接进入大神他早期发的帖子啊，包括他今天是刚刚发的帖子啊，我们从早期的帖子谈起。就基本上是4个DGX Spark，然后他是没有用这个交换机，用这个什么4根DAC线，把这个4个GB10组成一个闭环。他是去下了一个补丁，啊，这个补丁是开源的，就能够这个识别链路了啊。
然后总体上的实测结果就是非常地可用。呃，他做的是8路并发的测试，然后单流解码大概能到100多tokens/s，他的这个prefill速度大概是4000多tokens/s，然后1M上下文，首字延迟大概在1秒左右。啊，这个详细的数据，大家可以到这个论坛来找这个编号是2346，还有这个什么2946，啊，这两个帖子来看。然后我会在这个视频下方，就是链接我这个视频的文稿，它对应的帖子啊，里面我也会把这两个帖子给它加进去。啊，大家要看详细测试数据的，都过来看啊。其实是按照他后面的统计啊，就是他给的这些统计数据，他是可以支持10路并发的啊，但是他测的时候就是测的8路并发。然后即便你单路并发，是这个1M上下文，它剩下来的这个显存也是可以支持，呃，你这个什么打满这个1M上下文的。就是首字延迟大概都在一秒左右，还是相当地不错，体验非常地好。
他这个TP4的方案啊，并没有用比较牛逼的SGLang，而是用了vLLM。然后，叫什么，它是一个分支版本，SparkRing Kraken这个分支，非常地拗口。大家不用太关注啊，它到底用的是什么推理引擎，因为你只需要记住帖子的ID啊，到时候你这个进入论坛，然后把这两个帖子的地址复制给你的AI agent。啊，如果说你买了4个DGX Spark的话，是吧，那你复制给它，那么它自己就会搞好。然后我们这个易哥啊，他还在底下，当时是贴出了部署这个方案，就完全是交给DeepSeek搞的，大概是花了11块钱，就是他第一次部署的时候。这一次部署，他没有公布这个具体的金额，但是大概也就是十多块钱嘛。现在DeepSeek还降价了，啊，相比于他发帖的时候，应该十块钱是能搞定的。但是他配的时间比较长，好像是花了十多个小时，我也不知道为什么。是不是说有这个什么下载软件，有的时候国内的网络不太好，给卡住了。
然后这个价格，他是分了两批买的，第一批是比较便宜的啊，第二批确实是非常贵啊。哦，第一批是30500每台入手的，第二批是国庆节之前36000每台入手的。啊，我估计现在又涨了，现在可能要四五万块钱一个，他这四个盒子要十几万、小二十万的价格。但是呢，我们说实话，它相比于这个，呃，RTX Pro 6000，我觉得它的性价比还是更高的。毕竟你Pro 6000现在两张卡，你也跑不了这个DeepSeek V4.1 Flash，是吧？你跑不了官方原版的。然后它的，RTX Pro 6000的优势就是跑ComfyUI，做这个视频生成嘛。不过你想一想，你有了4个DGX Spark，是吧，你跑ComfyUI，你不用TP的，就跑四个任务。你想一想，它能慢到哪去，是吧？有什么样的生产需求都给你搞定了，所以说这是一个终极方案了。
就到目前为止，你想一想，苹果的这个512G，它多贵，是吧？好像是卖到20万以上了。那你跟这个什么四个DGX Spark比的话，呃，它无论是跑这个什么视频，还是跑这个大模型，其实还是老黄的产品体验要更好一点啊。当然了，苹果有它尊贵的身份标记了啊，它也是不一样的啊。本身品牌，我们要认可它的价值，是吧？而且除了跑大模型之外，苹果本身它这个操作系统的价值也非常地高，它可以干很多其它的事情，这个只能说各有优劣吧。然后这些昂贵的产品呢，我们屌丝们是很难用得到。就说像我一样，看看别人的测试数据，啊，过过嘴瘾，是吧？这里面你说最贵的是这小盒子吗？是吧，是人家这个独门独户的这个别野，是吧，独门独户的小院。
就详细的数据，大家自己到这论坛去看帖子吧。总之你记住，它这个8路并发是完全没有问题，上下文给你拉满了，然后这个首token延迟非常地低，能够控制在一秒以内。这个速度，就说比起我们在本地，是吧，我们用什么大内存，然后加一个独立显卡，去部署它的什么，呃，Q2版本，或者说最多能部署一个Q3版本，啊，它也不能多并发，是吧？用Strata来跑这个东西，其实Strata它本身，它是解决了我们入门的问题，但是它没有办法提升并发能力，是吧？它本身是排队机制，是个伪并发。你长上下文、多并发，Strata还是不行的。因为这个机器的入门门槛太高了啊，没有办法，@一下论坛其它的4个DGX Spark持有者，其实论坛还有另外一个人也有，看看他们有什么，呃，不同的这个测试结果。
就最后这个，我们易哥啊，也总结了一下，1017版本，它的高并发、长上下文是比上一个版本提升了大概40%到50%。然后总体的体验，包括说它这个什么首token延迟，啊，也有大幅地降低。当然了，也有一些负面开销了，大家自己来详细地阅读。总之，它是跑得非常地稳定啊，已经接入生产。那我也成功地水了一期视频，好吧，本期视频就到这里吧，我们下期再见。
-
-
-
-
-
@benton-yi 哈哈哈哈猫主子对这块赛博金砖的发热量很满意的说。
