strata极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3_XXS量化，prefill 4500t/s，decode 180t/s 同时缓存5个262k会话不重新prefill

[Marck Wong]

我是5080+64g ram 也是跑 IQ3_XXS 体感比之前的IQ3_S好了不少 我设置了128k context 现在大概80tok/s

[zeroxin]

@Marck-Wong 说:

我是5080+64g ram 也是跑 IQ3_XXS 体感比之前的IQ3_S好了不少 我设置了128k context 现在大概80tok/s

我的5070TI+96GDDR3 rem 其他设置跟你一样，有60tok/S

[fcme]

@Marck-Wong
128的话对于实际你日常应用有影响吗？你是办公场景多还是代码开发多？上下文短的话，是不是也会速度比较快？

[terry]

@zeroxin 发个详细测试呢，给大家参考下。上次我说大概50多tokens，但是评论区有哥们说能跑到100t/s，是不是量化版本不一样。

[Marck Wong]

fcme 是的 64k更快 不过我是放进用opencodex 放进codex和GPT-6一起配合用的 所以我觉得128k也不太够用 刚刚改成了256k 还行

[fcme]

@Marck-Wong
哦，是这样，agent时代上下文累积太快了，100多确实小了点。 我也是最后稳定在了245k。

[Marck Wong]

@fcme 我不太懂 我就是设置了 autocompact 80% 所以不会用满256k

[fcme]

@Marck-Wong
80%就对了，你要再高了的话，那个模型就崩了。80%就是说在256k的8%大概也就是两百k左右压缩就启动了，因为再往上涨的话，你上下文太长了，塞给显卡，显卡就卡死了。

[kop wang]

不同的LLM执行框架对于上下文压缩有不同的要求。比如sglang就要求你最后一次会话的所剩上下文空间要大于单次最长输出token数量。否则就报429

[Enigma]

谢谢分享，回头去做