kobcpp 1.124.2进化了,不错不错
-
KoboldCpp 1.124.2 够用了,AI界不是有句坚持不学就可以不学吗,再次印证规律。 生态级替代Strata。 但要拿的是缓存那档,不是默认档:
--moecpu N 从大往小扫,找悬崖退一步
加 --moe-cache-mib(本版刚暴露的)
--lazy-mode + --usemlock 配上
--help | grep -i moe 看一眼 --moe-cache-cpu-share 在不在,在的话一起开,那就是我上轮说的 1.6 倍那档别碰的是 --moeexperts 和 --autofit——前者掉质量,后者会跟你的手工分层打架。
一句话:你选 KoboldCpp 可以不选 Strata 了,而且 1.124.2 正好补上了它原先最缺的那块。用它的壳,把 --moe-cache-mib 开上,那就是最省事的走法,不用再折腾。通杀moe,不再锁定什么这个那个的俩模型,更霸道的是在稠密模上一样很快很好用
https://github.com/LostRuins/koboldcpp/releases/tag/v1.124.2

各种好玩哈哈 -
-
-
-
-
-