Strata 在我这台 5060ti 16G 显存 32g内存 电脑上成功跑通：一次本地大模型实战心得 暂时不用升级ddr5内存了，真心贵啊！！！

[J Z 0]

这是怎么做到的，strata真是弹性很大。
我之前5070+ 48g ram，感觉用q2模型都要爆了，速度倒是飞起，记得decode有100多来着。看来资源有限时，它能自动优化分配

[focuser li]

我的帖子里面都写了，你让codex 参考我帖子部署就能避坑

[imbiplaza ASUS]

谢谢你，我可以抄功课了，

[focuser li]

同样的提示词 qwen27b kvmem inifer方案做的效果 还是有差距的。。。

[dardeaw feng]

@focuser-li 真的用了qfn後再回頭用27B，有點回不去了，qfn上到4bit量化後除了廢話多了點，全面輾壓27B
但為了不久後Qwen 4 27B要發布了，我還是得準備好27B環境恭候大駕

[perter]

@focuser-li 说:

我的帖子里面都写了，你让codex 参考我帖子部署就能避坑

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS主模型就43G，难道一部分放到虚拟内存了。

[focuser li]

应该是用ssd硬盘给消化了

[tom23]

认可你的想法，能用并且能干才是目的。买的硬件再好，没地方用，不能带来实际的收益那没有意义

[terry]

可喜可贺，适合自己的，能干活的就是好的。

[focuser li]

准备用codex优化下starta方案，做一个定制版的本地strata方案

[范志刚]

这配置经典啊，请问大佬，有做iq4的测试吗，可行吗？@focuser-li