本人脸皮薄,禁不住别人怼. 这是我的性格缺陷. 但是技术能力绝对没问题.

最近我把 本地知识库,做到双路融合了.

A路: index+search. BM25 排序
B路: chunk+embedding. vector排序

以上排序后,取前几名, 然后再融合在一起.

这里需要有个融合的算法, 主要是 bm25排序先固定证据,然后再rerank.

复杂度稍微有点高,整个项目差不多3万多行代码.

目前的本地知识库RAG, 基本可以商用级别了,

目前的技术能力已经超越80%的公司生产级别的知识库了.

好多人说明明有LLM大模型,为啥还需要本地搞一个知识库.

第一,垂直领域,很多词语,尤其是行业黑话,LLM是没有训练的,
第二, 降低LLM大模型的幻觉. 只有你自己懂自己,大模型只是概率预测而已.

我有举几个例子:
做循环盘点的时候，系统为什么还要记录上一次盘点时间？
订单分配时如果库存数量不够，WMS会触发紧急补货吗？

这两个仓储垂直领域的,再加上 本地知识库, 一个9B的小模型,能做到非常专业的回答.
我这个知识库的就是网络的文章,准确度不是很高,我需要更准确的内容,效果更好.

双路召回:

双路调试界面:

最终效果:

本地LLM 调试: