<![CDATA[凌晨三点起床,忙乎一天,本地知识库RAG的 chunk+embedding弄完了.]]>凌晨三点醒了,想想了,前两天发了一个 chunk+embedding的 技术栈,是垃圾.

做梦都在想,是不是rag的技术栈选错了, 怎么也睡不着了.

自己放的狠话,自己拉的粑粑,自己含泪也要吃下去.

https://lcz.me/topic/707/基于rag-wiki-理论-我做了一套本地知识库-用于客服机器人./15#gsc.tab=0

每一个资深程序员,天生就是偏执狂. 我就是吃技术这碗饭的.

从零开始做起,之前没接触过chunk+embedding .

最终embedding 选了: text-embedding-qwen3-embedding-0.6b
向量数据库: lancedb 0.33.0

主要是中文支持好.

放几个截图, 睡觉去了.

PS:
我真的觉得, 向量工程师, 你们天天上班再做什么, 我一周都做两个模式, 你们真是再公司骗钱的.

而且从零架构,到完工, 也就一周.

剩下的工作 ,基本就是调优, 和优化参数.

一个向量工程师, 在一线城市, 大概30k-50k 月薪. 在我看来,半个月完事, 剩下就是维护.

我做一个OPC,这种一人公司, 对外1家公司本地知识库 收费10k, 根本花不了半个月时间.

我的个人战斗力,自测再 1:20, 正常如果战斗力拉满 ,一天干20小时, 基本1:50人的战斗力.

截图:

8575a32e-ff9e-41c7-8dc6-539293a88af2-image.jpeg

49e798c2-15a2-4fba-a4bf-befd70594e9e-image.jpeg

56cad466-591e-415e-911c-b34b481cd5e0-image.jpeg

cecff849-baf2-4091-8438-f8ee94be2b32-image.jpeg

向量数据库 lancedb

d5e4b7b2-d0c2-4934-986e-9421f7dabff9-image.jpeg

]]>https://lcz.me/topic/728/凌晨三点起床-忙乎一天-本地知识库rag的-chunk-embedding弄完了.RSS for NodeWed, 01 Jul 2026 09:31:34 GMTSun, 28 Jun 2026 11:28:02 GMT60<![CDATA[Reply to 凌晨三点起床,忙乎一天,本地知识库RAG的 chunk+embedding弄完了. on Sun, 28 Jun 2026 14:45:37 GMT]]>默默的留个小脚印。能看懂。看懂是完全超出我的知识面。

]]>https://lcz.me/post/8669https://lcz.me/post/8669Sun, 28 Jun 2026 14:45:37 GMT<![CDATA[Reply to 凌晨三点起床,忙乎一天,本地知识库RAG的 chunk+embedding弄完了. on Sun, 28 Jun 2026 12:06:44 GMT]]>这是 chunk 分块的参数 : 按照 800, 重复120, 每个chunk 是680字符.

embed:
enabled: true
provider: "lm-studio-local"
model: "text-embedding-qwen3-embedding-0.6b"
batch_size: 16
write_back_to_mongodb: false
chunk_size: 800
chunk_overlap: 120

]]>https://lcz.me/post/8649https://lcz.me/post/8649Sun, 28 Jun 2026 12:06:44 GMT<![CDATA[Reply to 凌晨三点起床,忙乎一天,本地知识库RAG的 chunk+embedding弄完了. on Sun, 28 Jun 2026 11:57:49 GMT]]>已经对比完了, 只是 没帖. 还是 index+search的效果好. 目前我的样本是这样的.
备注 seeker 是 index +search路线, rag 是 chunk+ embedding路线

以下是 AI总结的:

f08f9690-5732-4f0e-ab40-a4faebac4699-image.jpeg

]]>https://lcz.me/post/8648https://lcz.me/post/8648Sun, 28 Jun 2026 11:57:49 GMT<![CDATA[Reply to 凌晨三点起床,忙乎一天,本地知识库RAG的 chunk+embedding弄完了. on Sun, 28 Jun 2026 11:32:42 GMT]]>劳动模范...

期待你之后的对比.

BGE对中文支持也不错的

]]>https://lcz.me/post/8644https://lcz.me/post/8644Sun, 28 Jun 2026 11:32:42 GMT