Strata vs SGLang，问世1个月的新框架，为什么改变了本地AI部署的生态？它大大降低了LLM的部署门槛，让洋垃圾成为可用生产资料！
-
昨天我在视频中提到，自己买了4根 DDR3 1866 32G 单条，然后是 ECC 的服务器内存条，也就是洋垃圾了。那么目前呢，是288一根。有网友在我的视频下方留言说，他也买了，测试只能插两根，插不了4根。但是我之前买的第一家也是，他是250块钱一根，他也是说只能插一个或者插两个，他插不了四根。
不过我的第二家商家，我把我的这个主板型号告诉他，我是用华南金牌的 X99 CD3 和 AD3 两个板子。啊，他说都是兼容的，也可以插四根，然后也有这个聊天记录。那么等他的这个内存条到了之后，我是希望能插上四根的，就有可能是插不上四根，那就比较遗憾，因为128G的条子对于我来说意义才大。当然了，如果说只能插两个，我应该也还会留两个用，因为我现在这个 X99 的主板上面是64G的内存。
但是我插的是这个什么，4090D 48G 跟 7900XTX 两张显卡。那么在这种情况下，我是肯定需要第二个主板来发挥这个性能的。然后你说我买这个条子干什么呢？它呢，就是为了跑这个 Strata，然后用 Strata 驱动千问3.8 Flash Next，它的 IQ3S 版本。据官方测试啊，它的这个质量损失是微乎其微的，跟这个标准版，就是跟原版呢，它在多项测试中，其实在智力包括质量上的损耗是微乎其微的啊，就是可以接受。
然后呢，如果说你有64G的内存，加上24G的显存，甚至说加上16G的显存，你就能跑 IQ3S 量化版本了。但是前提是你这个要专机专用，你就不能再开其他消耗内存的进程了。它好像是，呃，会消耗57G左右，就是用给这个什么权重，再加上你这个什么，呃，24G显存或者16G显存。啊，剩下来的内存包括显存可以用来做这个 KV 缓存。当然了，如果是96G，你的体验肯定会更好一点。
就是跟大家讲一讲这个 Strata，它的这个架构，给大家粗浅地谈一下 Strata 跟过往我们比较熟悉的、极端优秀的架构 SGLang，到底有什么区别。我们就不谈 vLLM、llama.cpp 了啊，因为讲实话，要谈我们就谈最火热的、效率最高的：一个是本地部署之王 Strata，一个是服务器端现在称王争霸的 SGLang。
SGLang 有一个叫 Radix 缓存树的机制。就比如说我有一张4090D 48G，是吧，那么它的4比特量化版本千问27B，大概权重是16G左右，是 W4A8，就是它是装载4比特的这个模型，然后推理的时候用这个 FP8 来推理。
那么在这种情况下，我的显存扣除框架开销，再扣除这个权重，它还剩下20多个G的空间。哎，它就可以用来跑这个什么 FP8 KV 上下文，就可以跑好几个会话。我实测是两个长上下文，就是128K以上，或者说有一个是256K、一个128K，然后两个短上下文，32K或者64K，同时去请求，这个服务器也是负载得过来的。它的响应延迟是非常低的，体验跟在线的模型是差不多的。
这个用到了什么？用到了 Radix 缓存树的威力。就是说 SGLang 可以在多个会话之间共享 KV 缓存，就是有些相同的部分，它是可以跨会话共享的。而且它的 Radix 缓存树是增量 prefill 计算，也就是它已经计算过的 KV 缓存是不用重新计算一遍的。你来一个新的请求，在长上下文这种长会话中，你的历史上下文是不需要重新 prefill 的。
那么4090在支持多会话的时候，它有48G这个大显存，然后带宽本身，呃，基础带宽是1T左右，960 GB/s嘛，那它也是非常不错的，可以轻松地应对四个会话的请求，是完全没有问题的。这个就是 SGLang 的核心优势，简单总结一下就是 Radix 缓存树。
然后呢，Strata 本身就是说，它在双卡 TP 或者多卡 TP 的时候，如果说你的硬件达标，它的效率也是所有框架中效率最高的。我说的还是那种 agent 场景，然后长上下文。啊，有人说 vLLM 它的并发能力更强，是的，那是它在短上下文的情况下。如果说长上下文多会话，这个 vLLM 是被 SGLang 吊打了。这个东西你们稍微有点常识，自己去问一下 AI，你们就会知道为什么。这里我就不展开 vLLM 的派发调度机制了，就是讲实话，它在这一块是不如 SGLang 的。
那么我们就再提一下 Strata 跟 SGLang 之间有什么区别。Strata 不是为了多并发设计的，啊，多并发是 vLLM 跟 SGLang 的长项。是吧，它是怎么说呢，为了本地单会话长上下文来设计的，就照顾本地的用户。那你说它能不能支持多会话？当然是能支持的，它有一个 slot 机制，就类似于 llama.cpp。
就说它不同的请求，比如说 A 请求 slot1，B 请求 slot2，是吧，那么它们这个 KV 缓存都是放在不同的 slot 里面。然后你比如说你有64G的内存，加上24G的显存，你的热专家是放在这个显存中去。然后你的这个什么，比如说你请求 A 过来的话，它就调用 slot1，就把这个什么，呃，KV 缓存包括这个热专家都加载到这个显存中去。完成推理之后，你第二个请求来了，它可能是在排队。你请求 B 过来之后，它就把 slot2 的 KV 缓存这一块整个打包，给它重新加载到显存中去，把 slot1 中的 KV 缓存给它卸载出来。
当然了，这里面还会同时进行一些专家的卸载，因为也包括加载了，因为它们不同的请求，可能用、需要用到的专家也是不同的。就是它是支持多会话的，但是它多并发做得很垃圾。它这个机制是为了单会话长上下文设计的，它并不是为了多并发设计的。
多并发是指什么？不是说排队，先处理 A，后处理 B，而是像 SGLang 那样，你4个请求过来，它就给你同时，比如说你可以同时设置4个 slot，是吧，那它就给你同时请求、同时处理。SGLang 是有这个能力的，这是得益于它 Radix 缓存树的特殊机制。但是在这一块，Strata 它是不行的。它也能这样搞，但是它的效率很差。
然后由于现在有这个 DDR3 洋垃圾的条子存在，它的板 U 套装几百块钱一个就能买到，就非常便宜。所以说在显卡价格非常高的情况下，你去买一个比较便宜的 X99 洋垃圾主板，无论是华南金牌的还是金悦的，然后他们一般都会送你一个 CPU，就够了。你就用这个便宜的板 U 套装，加上64G或者128G的大内存，去跑 Qwen 3.8 Flash Next 这个模型，当然了你是用 Strata 来驱动。
如果说你的显卡基础素质不错，比如说像7900XTX，它有将近1T的带宽，然后它还有比较强的算力，它的显存又是24G，比较甜点，那么你同时开几个长会话是没有什么问题的。因为你本人又不是说跟 AI 聊天，你要什么，一定要这个 agent 实时回复你，一定要大模型实时回复你，其实不是的，你无非是同时做几个任务。
它这种在多个会话、多个 slot 之间切换，它的延迟如果说你是 PCIe 3.0 x16 的带宽，基本上在一秒钟左右，甚至一秒钟以内就可以完成。哪怕你是 PCIe 3.0 x8 的带宽，你也是最多就延迟几秒。这个不是什么大事，相对于漫长的 prefill 填充过程，它只是一个非常小的开销。
然后呢，Strata 本身也是支持增量 prefill 的。就是在同一个会话中，比如说会话 A 跟会话 B，是吧，会话 A 放在 slot1 中，会话 B 放在 slot2 中，那么它已经计算过的 prefill 是不需要重新计算的，它也有这个增量 prefill。就长会话、长 agent 的任务中，Strata 是特别适合它的。
然后你的比如说7900XTX这种算力、带宽都非常强的卡，它处理完请求 A 之后再切换到 slot2 处理请求 B，这个延迟是非常低的，效率是可以接受的，你本身的体感是不会太差的。但是现在 Strata 架构有一个问题，就是它在多个 slot 中反复切换的时候，有可能会丢掉旧的 prefill，就是你没有办法进行增量计算，只能进行全量计算。
那么这个 bug 社区已经提出来了。作为一个刚刚上线一个月就有2万多星的 GitHub 最热门项目之一，Strata 的修复能力大家是不用担心的。啊，这个不是什么大的技术 bug，这个 bug 一定会被修复的。我们准备硬件的时候，就按照它很快能修复来准备就行了，然后我们等待社区修复。
我们买到的这个 X99 洋垃圾，无论你是64G的、96G的还是128G的，你搭配一个7900XTX，是吧，或者搭配一个5060TI，你都能跑出比较不错的体验。像社区有用什么4060TI呀、3060 12G呀、4070 12G呀，这些跑出来的体验都是不错的。是吧，如果说你闲得蛋疼，你可以多卡去跑。
当然了我也必须提醒大家，就说我在之前的视频中说过，我一般是不折腾硬件的，我只折腾软件。就一旦我买洋垃圾，我跟大家讲，无论我是买 CPU、主板还是内存，它一定是这个东西坏了，比如说用个个把两个月坏了，我根本都不会找商家去扯皮，懂吗？就如果说拼夕夕上面它还在保，我去联系店家，店家一般都会给我换。如果说它不给我换，我也懒得去跟它吵架，懒得去打官司。
知道吗？一定要有这种心态，你才能去玩这种洋垃圾。然后洋垃圾你肯定是花个千八百的一两千，是吧，撑死了3000块钱。你如果说花个四五千、五六千块钱去买洋垃圾，那我建议你去医院检查一下智商，懂吗？除非你自己愿意去折腾，要不然你不要花了大几千块钱去买了洋垃圾回来，是吧，最后你遇到问题了抱怨，说是我给你建议。我从来没有建议你们去买昂贵的洋垃圾，我只是说在你可以无所谓的情况下，比如说我这次组这个128G，以后啊，不一定能组得起来。
或者说64G的洋垃圾，啊，DDR3 平台的，加上华南金牌的 X99 主板，就我都不知道它能不能确定能插4根。它能插，我就全留下；不能插，我还是就留下两根。是吧，就是你人穷的时候就不要太讲究，就有什么方案比较便宜，是吧，你就当给你的这个显卡，7900XTX 现在新卡要卖到8500，或者说给4090D 48G，现在要卖到什么3万多、3万三四，是吧，你给这两张卡买一个性价比高的显卡坞，你就不要把它当做一个主机。
当然我现在用这个4090 48G，加上我的春节时候配的这个 X99 CD3 洋垃圾，我玩游戏、办公体验都还挺不错的。啊，在这个 Windows 10 上面，它可能说跟 AMD 的显卡组合起来就有点体验不好，但是它跟英伟达的卡还是比较搭的。就你买这个东西回来，哪怕说它只能跑 AI，你觉得不值得吗？是吧，就买一个硬件，你千万不要觉得就是要让它面面俱到，这个也会、那个也会，你就让它发挥自己的长处就行了。
-
-
-
-
-
-
-
-
@terry 老大，我刚买的全新的4090 48G，128G D5，是不是就无用武之地了，是不是应该再搞一个X99+128G+7900XTX，想专门用来跑本地qwen，然后我新买的这个，就跑跑minimax
-
@applejuice 我也想再买一块4090 48G，跑双卡，一个卡跑minimax，一个跑本地大模型，不知道是不是可行，我目前内存插满了，只能到128g，不知道是不是需要换成256g的
-
-
@applejuice 我也想再买一块4090 48G，跑双卡，一个卡跑minimax，一个跑本地大模型，不知道是不是可行，我目前内存插满了，只能到128g，不知道是不是需要换成256g的
-
-
-
@terry 老大，我刚买的全新的4090 48G，128G D5，是不是就无用武之地了，是不是应该再搞一个X99+128G+7900XTX，想专门用来跑本地qwen，然后我新买的这个，就跑跑minimax
-
-
-
-
-
@imbiplaza-asus 我也是，就是洋垃圾，感觉没有时间折腾，最后搞不好变成洋垃圾折腾我
