Strata vs SGLang，问世1个月的新框架，为什么改变了本地AI部署的生态？它大大降低了LLM的部署门槛，让洋垃圾成为可用生产资料！

[NY Zhao]

@terry 老大，我刚买的全新的4090 48G，128G D5，是不是就无用武之地了，是不是应该再搞一个X99+128G+7900XTX，想专门用来跑本地qwen，然后我新买的这个，就跑跑minimax

[applejuice]

@NY-Zhao 4090 的优势还是很大的
我都想买两块2手 4090 24gb

[NY Zhao]

@applejuice 我也想再买一块4090 48G，跑双卡，一个卡跑minimax，一个跑本地大模型，不知道是不是可行，我目前内存插满了，只能到128g，不知道是不是需要换成256g的

[Bunsei]

此主題已被删除！

[applejuice]

@NY-Zhao 同时跑strata 跟minimax 一定要加ram
现在strata 加外挂知识 动不动都110gb ram

我没试过minimax
但是听说搞视频图片 ram 需要至少 vram 的1.5倍

[hhhl]

我觉得对于个人用户来说有了Strata，以后大显存的显卡，可能就不吃香了，大家怎样看呢？（相信以后在音视频上也会有类似的会出现）

[applejuice]

@hhhl 大显存优势还是在 strata 只是让小显存变得可用

[perter]

@NY-Zhao 说:

我刚买的全新的4090 48G，128G D5，是不是就无用武之地了，是不是应该再搞一个X99+128G+7900XTX，想专门用来跑本地qwen，然后我新买的这个，就跑跑minimax

反了吧，4090 48G 跑minimax H3 效果肯定比7900XTX 好多了。而且N卡CUDA生态好的多。

[NY Zhao]

@hhhl 大显存是生产力工具，内存的offload，只是解决能不能用的问题，如果速度到不了100t/s，就我个人感觉，基本没有生产力

[imbiplaza ASUS]

我现在开始用dsh 去驱动我的comfyui....但是，在本机上永远无法同时跑两个模型，
唯有，年底学老大特那样，买多一架ddr5套机, 用我的5060ti + 128g ram 来安装strata

[NY Zhao]

@perter 好，那看来先分时使用吧，再投资，又是一个机器，感觉不值当了，先凑活用了，谢谢啦

[NY Zhao]

@imbiplaza-asus 我也是，就是洋垃圾，感觉没有时间折腾，最后搞不好变成洋垃圾折腾我

[imbiplaza ASUS]

@NY-Zhao 我应该会买回ddr4 套机，加上pcie 5.0 主机板，双pcie 插槽，cpu 用回12th i5, 然后再补上一个surface arm,

我算过这样的设备只是rtx spark 的一半价格

[terry]

@NY-Zhao 我也建议你买个xtx跑strata，你一个人用足够了。4090跑strata浪费了，48G显存你跑H3多好。

[terry]

@imbiplaza-ASUS 我弟这点事你还亲自动手吗？你这样的地主家里没佣人？我特么要去投奔你当保安，这样的生活条件我怕是难以接受。

[imbiplaza ASUS]

@terry

全部自己来的生活

[大周]

e5 2696v3 精粤x99tid3 plus 128g1866ddr3 5060ti 16g过来冒个泡

[NY Zhao]

@terry 嗯，好啊，那我也抄个大哥的作业

[fan jun]

就是显卡4080D 48g或者R9700，比较难

[fan jun]