我是5080+64g ram 也是跑 IQ3_XXS 体感比之前的IQ3_S好了不少 我设置了128k context 现在大概80tok/s
我的5070TI+96GDDR3 rem 其他设置跟你一样，有60tok/S
Z
zeroxin
@zeroxin
-
strata极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3_XXS量化，prefill 4500t/s，decode 180t/s 同时缓存5个262k会话不重新prefill -
VoxCPM2 語音克隆 TTS 生成音色不穩定我所有的电脑都是洋垃圾E5平台，一台是5070TI 128G内存，一台3060 12G+64内存，一台2070 8G+32G内存，前两台跑龙虾+comfyui ,第三台只能办公了