@jian-xu 说:
请问DSH接本地模型,上下文满了,怎么清理
如果配置正确的话(上下文长度,最大输出长度和模型端一致)那么在最后一次请求中,当剩余上下文余量小于输出长度时,就会触发压缩。
偶尔的越过现象可以通过在strata侧配置"fit_max_tokens": true,来一次性解决问题。
越过的本质就是strata的逻辑,只要你的最后session余量小于输出长度,就直接400报错拒绝执行。所以导致边缘情况有可能轻微越过从而压缩失败。
fit_max_tokens就是根据目前的session余量动态配置输出长度,从而规避这个问题。