晒一下X99 TF+ 2696v3 + 128G DDR3+7900xtx用strata运行IQ3_S的使用效果

[yi song]

之前配了一台服务器专门跑strata。用了几天效果和大家分享一下。
我测试了很多方法，现在的使用是1槽其他对话排队的方式。256K上下文，非审查模型，带图片识别和加速模块。

稳定跑了好几天了，可以说一直在跑，我都是长任务，一跑跑一宿的，能用，但是很慢（对比DeepSeek）

如果两个对话同时开，速度会慢，不知道为什么。
往上搜索了，2个对话同时运行的经验贴我都没试出来更好的效果。所以我贴一下我的经验，大家看看有没有提升到空间了。

[perter]

@yi-song 说:

如果两个对话同时开，速度会慢，不知道为什么。
往上搜索了，2个对话同时运行的经验贴我都没试出来更好的效果。所以我贴一下我的经验，大家看看有没有提升到空间了。

你要开2个以上对话必须设定并发数，不然只能排队。
"parallel": X （X 是并发会话数，最大 8 ）
"--conversation-cache-mib", "8192"
这个参数会让 strata 使用 RAM 来缓存历史对话，从而不让 LLM 反复重新 prefill 老的 session 。增加会话切换时的速度，对于 agent 、harness 场景有奇效。

[kenshin]

@yi-song 兄弟提供一下配置参数。谢谢。

[Hackner Weinland]

为什么有些prefill特别小，有些1200t/s，decode看起来还算正常70t/s