抡锤者

我也是这个版本，但是用的时候，容易死循环，单流速度确实挺快的，但是2流或是3流就直接卡死了，你这边有这些问题吗？

rag 检索已经有非常成熟的工具，没必要自己折腾了， 像是国内应用 腾讯的 ima （可以直接下载登录）， cherryStudio， 或是dify ，这些直接就可以用， 把文件丢进去，然后自己就切分了，如果需要控制颗粒度，dify 的效果会好些，你可以试试

命中倒是没降，就是感觉傻了很多，经常改错问题，然后自己又改回来，还改不好，浪费好多token

KV 才是大头，q4_0 或是q4_1 不够用，q5_1 勉强够， 最好上 q8 , 256k 上下文，显存就是10g+ 以上

陌拜大神，大神威武

@flyer666

来2个罩子，防尘效果不错