非常牛逼的部署方案和内存加载kv技术帮我解决了困扰许久的问题

[huaye XU]

@terry 好的~谢谢老大。我下次注意。我看5060TI原作者整合包里又对应的配置。看有人给他回复，16G显存部署128K上下文可行。

[snailium]

补充一下，@tony-wang 是对的，dsh默认预留64k上下文窗口，也就是说后端开128k上下文，大概填到60k的时候就会触发上下文压缩（compaction）。所以一次性开到256k的做法是对的。

我看看能不能把上下文调优做到插件里面

[stxpnet]

这个ninfer确实牛,不过对双卡用户来说,不知道有没有成熟方案,另外如果这个KV -MEM可以将K V CACHE扩展到第二张卡上面就好了.

[fcme]

@snailium 可以让dsh自己把预留的量调到8或者16K，这样本地模型的宝贵的上下文空间就不那么浪费了。

[snailium]

@fcme dsh v0.1.7的问题不仅仅在于compaction，还有prune，只调headroom不完整，长链任务会被prune拖慢。我的自动调优快做好了

[fcme]

@snailium
牛X，到时候请赐教啊！

[snailium]

@fcme 另外，大神，我比较好奇，你怎么能在调了预留量之后，让已经进行的会话立即生效？

多轮代码检查之后发现，这些数值都是在会话开始的时候就投影（projection）在会话头信息里面的，然后就没法改了。这是dsh的安全规范操作。

目前我能找到最简单的方法，就是重写当前preset（比如标准模式），然后通过fork会话让新值生效

[fcme]

@snailium
那个不是对话的设置，是模型的自带参数。让AI给你同步过去就好了。

[snailium]

@fcme 有详细设置方式吗？

其实关键不在设置，而在于怎样应用到已有的会话。

望详解

[fcme]

@snailium
没有。这种问题直接找AI给你解决，思路就是这么个思路

[snailium]

@fcme 好吧，也就是说您并没有实际做过，所以不知道这里面的坑到底在哪。

我还以为能有比用插件更简单的解决办法，看样子是没有