凌晨三点起床,忙乎一天,本地知识库RAG的 chunk+embedding弄完了.

[mark]

凌晨三点醒了,想想了,前两天发了一个 chunk+embedding的 技术栈,是垃圾.

做梦都在想,是不是rag的技术栈选错了, 怎么也睡不着了.

自己放的狠话,自己拉的粑粑,自己含泪也要吃下去.

https://lcz.me/topic/707/基于rag-wiki-理论-我做了一套本地知识库-用于客服机器人./15#gsc.tab=0

每一个资深程序员,天生就是偏执狂. 我就是吃技术这碗饭的.

从零开始做起,之前没接触过chunk+embedding .

最终embedding 选了: text-embedding-qwen3-embedding-0.6b
向量数据库: lancedb 0.33.0

主要是中文支持好.

放几个截图, 睡觉去了.

PS:
我真的觉得, 向量工程师, 你们天天上班再做什么, 我一周都做两个模式, 你们真是再公司骗钱的.

而且从零架构,到完工, 也就一周.

剩下的工作 ,基本就是调优, 和优化参数.

一个向量工程师, 在一线城市, 大概30k-50k 月薪. 在我看来,半个月完事, 剩下就是维护.

我做一个OPC,这种一人公司, 对外1家公司本地知识库 收费10k, 根本花不了半个月时间.

我的个人战斗力,自测再 1:20, 正常如果战斗力拉满 ,一天干20小时, 基本1:50人的战斗力.

截图:

向量数据库 lancedb

[Tony Wang]

劳动模范...

期待你之后的对比.

BGE对中文支持也不错的

[mark]

已经对比完了, 只是 没帖. 还是 index+search的效果好. 目前我的样本是这样的.
备注 seeker 是 index +search路线, rag 是 chunk+ embedding路线

以下是 AI总结的:

[mark]

这是 chunk 分块的参数 : 按照 800, 重复120, 每个chunk 是680字符.

embed:
enabled: true
provider: "lm-studio-local"
model: "text-embedding-qwen3-embedding-0.6b"
batch_size: 16
write_back_to_mongodb: false
chunk_size: 800
chunk_overlap: 120

[williamlouis]

默默的留个小脚印。能看懂。看懂是完全超出我的知识面。