Strata 摧毁AI小主机核心价值？本地单卡跑Qwen3.8 Flash Next很舒适！RTX30 40 50系列/AMD RDNA3/4 架构都支持！
-
好，本期视频谈一谈论坛最近非常热门的一个模型：千问 3.8 Flash。这个模型刚出来的时候我测评了，体验非常不好。第一是当时的官方 API 响应非常慢，思考过度，然后给出的质量其实讲实话也就那样。它宣称跑分吊打 DeepSeek V4 Flash，超过 V4.1 Flash，但是事实上，它跟 V4.1 Flash 的这个差距是比较明显的。如果说你是要做一些长链的开发任务、一些复杂的开发任务，我觉得 V4.1 Flash 还是要更好。但是它跟 V4 Flash 的体验应该是，应当来说是比较接近的，这个已经是相当不错了。作为一款能够接近在线 AI 大模型的、可以本地部署的、门槛不高的甜点模型，我认为它存在的价值是非常大的。
那么最近它为什么翻红呢？因为出来了一个叫什么 Strata 的这个新的推理框架。这个是我今天刚加的 tag，实际上论坛相关的帖子比较多，我在其他的标签页里我都打开了。这个框架你看看它的名字，就是分层。它把冷门的专家，包括这个非核心的这些权重部分，或者是非核心的 KV 缓存，给它卸载到内存中去，而不是把它放到这个显存中去。显存只放框架的核心部分，还有热门专家。那么在这种情况下，它的体验就会比较好，要求就会很低。
那么我们论坛这个大神 Johnny be good，他是 3090 24G 加 64G 内存跑起来的，然后速度非常不错。我们看看它的要求：英伟达 RTX 30、40 或者 50 显卡，显存 12GB 以上，内存能够装得下你选择的这个模型大小，磁盘空间 80G 闲置空间，它也支持 Windows。后来这个社区又陆陆续续有其他的帖子发布，这个模型是支持 AMD 的，它在这个什么 7900XTX 上跑起来的体验也是相当不错的。也就是说这个框架它本身不挑硬件，你是 Linux 也好、Windows 也好，I 卡也好，还是 N 卡也好，跑起来的体验都相当不错。
3090 解码速度大概是 100 tokens/s，它这个 7900XTX，根据我们这个大神的分享说，好像是 55 tokens/s。但是我看到社区中有其他的朋友分享，他们这个解码速度要更高一点，大概是 60 多到七八十的样子。也就是说接近 N 卡的体验了，大概是 N 卡的 2/3。
这个模型出来就有点改变，改变了现在这个行业的生态。我说一下，大家不用考虑自己的平台到底是 PCIe 3.0 还是 4.0 还是 5.0 的接口，也不用考虑你是 DDR3 还是 4 还是 5。因为它的原理就是分层卸载，它对带宽的要求没有 ComfyUI 那么夸张。即便在 ComfyUI 的情况下，我这个 PCIe 3.0 的、我 X99 的洋垃圾接这个我的 4090 48G，或者借我的 7900XTX，它们都不是瓶颈，瓶颈还是在你显卡的带宽、在你显卡的算力上，内存不是瓶颈。这个玩意儿，它会改变我们当下选购硬件的这个标准。
因为什么？怎么说呢，当下就比较火的小主机受到的影响可能是比较大的。我们拿这个方案跟小主机来对比。现在你买个什么 X99 的，或者说买个什么 AMD EPYC 的这种洋垃圾平台，你给它配 64G 或者 128G 的内存，64G 足够了，给它配 64G 内存，然后你再配一张 24G 独显。它相比于你买这些小主机，它的优势在哪里？小主机能跑的模型，比如说千问 3.8 Flash 这个模型，AMD 的 128G 小主机能跑，英伟达的 128G 小主机也能跑，或者苹果的 M5 Max、M5 Ultra，它们都是几万块钱的机器，它们能跑。那你自己配一个洋垃圾平台加一个独显，这个价格肯定是要低于小主机的，那你也能跑。
再大的模型，像这个什么 DeepSeek V4.1 Flash，那你 AMD 的小主机跑不了，英伟达两个小主机都跑不了，可能只有苹果的 512G 的、十几万的 M5 Ultra 能跑，它体验提升并不大，就没有意义。在跑模型这一块，你本身是没有什么劣势的，你是胜出的。跑 ComfyUI，你有一张 24G 显存的独显，你轻松跑 MiniMax H3。无论是 7900XTX 还是 3090，我跟你讲，那绝对是吊打小主机，那是真的把小主机吊起来打，毫无还手能力，完全不在一个级别上。无论是性能，还是长时间高强度工作的稳定性，那都是你这种大内存加上独显的这个方案更好。
这个新的玩法出来，大家可能采购硬件的这些思路都会变掉。给大家看看我这个、我自己采购的一些洋垃圾。来看看我的机箱。你说你小主机，你会有这种塔式机箱这么庞大的空间吗？你看看独立显卡多大，小主机多大，是不是？别的不说，你就是能不能长期稳定工作、能不能高强度工作，我跟你讲，小主机其实是消耗不起的。
来给大家看看我买过的这些卡。这个是第一版的 4090D 48G，这张卡刚买来的时候的样子，那个时候上面的塑料膜还没撕掉。跑的时候一定要把塑料膜撕掉，不然这玩意儿高温会影响散热的。但是就算是再怎么细心使用，它还是很快坏掉了，然后又给我换了一张新的。就是在京东买的，我买的是京东自营的。大家看一看，新卡的做工都跟以前的这个老卡都不一样。
装机的这个现状，我买的这个什么内存条，DDR3 的洋垃圾，是 IBM 服务器的拆机条，三星的颗粒，半高马甲条。大家如果说要跑这个本地的千问 3.8 Flash，你用这个什么 Strata 来跑的话，我建议你的内存一定要买马甲条。你如果是平时正常地跑大模型，就不会像它这样疯狂地在内存跟显存之间交互数据、卸载专家、加载专家的话，那你内存散热本身是够的。但是如果说你要长期地去高强度跑的话，我还是建议你淘二手洋垃圾的时候，一定要去淘这个马甲条。
当然了，论坛有很多大神分享他们的机箱，分享他们的这个装机经验。我跟你们讲，跟他们的这个分享比起来，跟他们的机箱内部的这个布置情况比起来，我的简直就是猪窝，简直就是狗窝。我的这个机箱，人家弄得非常漂亮。如果说你有这个装机方面需要有参考的，你可以到这个论坛去跟这些大神们请教，他们也有很多帖子分享一些这个什么知识。你想要这个查找一下，你可以去看这个什么相关的标签，啊，或者通过这个什么搜索。
-
-
我还没想到要拿来跑什么。。。如果，把来跑blender看看
-
-
-
-
纯文字解码跟代码解码速度不是一回事，建议晒数据的可以附上是代码解码还是文字解码，。
-
