Strata vs SGLang，问世1个月的新框架，为什么改变了本地AI部署的生态？它大大降低了LLM的部署门槛，让洋垃圾成为可用生产资料！

[terry]

Youtube Video

[XXX]

我華南X99 T8 單CPU 插了 DDR3 REG ECC 1866 32G 8根, 雙 PCIE3.0 x 16 R9700.

[stxpnet]

昨天试了一下用27B单卡 ，VLLM，用的ORCA插件，权重是EXL3，只能跑70t/s左右。上下文长度210K。
今天还是用回了strata放弃了，内存和CPU充足的情况下，27B模型和STRATA没法比。

[hhhl]

视频怎么时亮时暗的，是我的眼睛出了什么问题了吗？大家看的怎样呢？

[dardeaw feng]

這個slot切換會重新prefill的bug就是因為OOM所以會清掉用不到的Slot呀，最好的方式就是切換時把冷slot快照落盤SSD，等下次對化重啟時比對後回寫內存就好，以現在NVme寫回內存的速度幾秒就能寫完，其他框架很多都已經這樣做了

[Bunsei]

X99主板，我印象里好像只能支持四通道。插8根得双CPU。另外PCIE好像只有Gen3，单根最大好像是64G，如果使用之前那个老哥的PCIE 4 SWITCH 实现速度不差的TP，再X99的相对比较便宜的内存价格。这个思路是否可行

[NY Zhao]

@terry 老大，我刚买的全新的4090 48G，128G D5，是不是就无用武之地了，是不是应该再搞一个X99+128G+7900XTX，想专门用来跑本地qwen，然后我新买的这个，就跑跑minimax

[applejuice]

@NY-Zhao 4090 的优势还是很大的
我都想买两块2手 4090 24gb

[NY Zhao]

@applejuice 我也想再买一块4090 48G，跑双卡，一个卡跑minimax，一个跑本地大模型，不知道是不是可行，我目前内存插满了，只能到128g，不知道是不是需要换成256g的

[Bunsei]

此主題已被删除！

[applejuice]

@NY-Zhao 同时跑strata 跟minimax 一定要加ram
现在strata 加外挂知识 动不动都110gb ram

我没试过minimax
但是听说搞视频图片 ram 需要至少 vram 的1.5倍

[hhhl]

我觉得对于个人用户来说有了Strata，以后大显存的显卡，可能就不吃香了，大家怎样看呢？（相信以后在音视频上也会有类似的会出现）

[applejuice]

@hhhl 大显存优势还是在 strata 只是让小显存变得可用

[perter]

@NY-Zhao 说:

我刚买的全新的4090 48G，128G D5，是不是就无用武之地了，是不是应该再搞一个X99+128G+7900XTX，想专门用来跑本地qwen，然后我新买的这个，就跑跑minimax

反了吧，4090 48G 跑minimax H3 效果肯定比7900XTX 好多了。而且N卡CUDA生态好的多。

[NY Zhao]

@hhhl 大显存是生产力工具，内存的offload，只是解决能不能用的问题，如果速度到不了100t/s，就我个人感觉，基本没有生产力

[imbiplaza ASUS]

我现在开始用dsh 去驱动我的comfyui....但是，在本机上永远无法同时跑两个模型，
唯有，年底学老大特那样，买多一架ddr5套机, 用我的5060ti + 128g ram 来安装strata

[NY Zhao]

@perter 好，那看来先分时使用吧，再投资，又是一个机器，感觉不值当了，先凑活用了，谢谢啦

[NY Zhao]

@imbiplaza-asus 我也是，就是洋垃圾，感觉没有时间折腾，最后搞不好变成洋垃圾折腾我

[imbiplaza ASUS]

@NY-Zhao 我应该会买回ddr4 套机，加上pcie 5.0 主机板，双pcie 插槽，cpu 用回12th i5, 然后再补上一个surface arm,

我算过这样的设备只是rtx spark 的一半价格

[terry]

@NY-Zhao 我也建议你买个xtx跑strata，你一个人用足够了。4090跑strata浪费了，48G显存你跑H3多好。