回归第一帖,说说最近忙啥了!
-
感谢版主,感谢老特.
本人脸皮薄,禁不住别人怼. 这是我的性格缺陷. 但是技术能力绝对没问题.
最近我把 本地知识库,做到双路融合了.
A路: index+search. BM25 排序
B路: chunk+embedding. vector排序以上排序后,取前几名, 然后再融合在一起.
这里需要有个融合的算法, 主要是 bm25排序先固定证据,然后再rerank.
复杂度稍微有点高,整个项目差不多3万多行代码.
目前的本地知识库RAG, 基本可以商用级别了,
目前的技术能力已经超越80%的公司生产级别的知识库了.
好多人说明明有LLM大模型,为啥还需要本地搞一个知识库.
第一,垂直领域,很多词语,尤其是行业黑话,LLM是没有训练的,
第二, 降低LLM大模型的幻觉. 只有你自己懂自己,大模型只是概率预测而已.我有举几个例子:
做循环盘点的时候，系统为什么还要记录上一次盘点时间？
订单分配时如果库存数量不够，WMS会触发紧急补货吗？这两个仓储垂直领域的,再加上 本地知识库, 一个9B的小模型,能做到非常专业的回答.
我这个知识库的就是网络的文章,准确度不是很高,我需要更准确的内容,效果更好.双路召回:
双路调试界面:
最终效果:
本地LLM 调试:
-
兄弟回归，必须顶一下。
