RAG LoRA和大模型的关系以及应用场景

[Tony Wang]

保持好奇心, 大家共勉

[terry]

我频道的观众年龄从18-25到55-65都有，中年人最多，年轻人其实也不少。我说实话，老年人折腾下AI挺好的，防止老年痴呆。以后我们活到100岁应该不是难事，当然了，遇到意外噶了也正常。医疗在进步，60岁之后干嘛呢？还有几十年的时间呢。各种辅助工具也会越来越多，不如多思考下，AI就是最好的玩具。

[H Qian]

NotebookLM就是典型的RAG应用范例，LoRA才是小企业们的战场，可以各显神通搞出各自有特色的垂直行业模型。本人就尝试做这方面研究，包括模型生成后的安全防护话题，有兴趣可以一起探讨。

[[[global:former-user]]]

@H-Qian 這我有興趣， 最近我也在弄anythingllm 希望能類似notebookllm，目前不知道是llm模型還是embedding 的模型不夠好，總覺得回答得很保守......

[kenshin]

做了中医某体系的rag系统，资料切片，1400+文件耗时8小时+。还要+rerank。多维度交叉。结果：不同模型辅助诊断出来的方子不一样。重新诊断也不一定一样。现在开始新的概念：rag+agent，但是无论怎么折腾。还是不如人脑。但是如果用来总结概述。对比。这些意义还是有的。原因很简单，喂的料做出了的rag系统和使用者的语言语义不一致。还有大模型要出唯一答案，最好机械一点。temp=0， Prompt 里强制约束。现在来说，rag系统只能用来学习。不能结合llm用来搞生产。 最起码严谨的工作领域还不能作为生产力。

[terry]

@kenshin 挺有意义的实践参考，这不仅需要RAG技术范式的进步，也需要模型在训练时就要提供类似接口。

[Tony Wang]

@kenshin

会不会是中医的判断本身就很模糊? 缺乏明确的指标判断? 知识库中的内容很可能就存在了冲突, 模糊, 交叉等现象.

[566656661]

@kenshin

我是屬於公司内部文件 (~500頁精細操作) + 助手 + 提供其他應用程式API作爲Agentic Control Tool Call

只能説連POC都舉步維艱, 最後還被老闆刹停了...

儘管有API可以呼叫但是Agentic Workflow和General Chat的邊界選用這個真的很讓人頭痛

Tool Call至少可以用Structured Output來限制但是模型選擇延續Workflow跟Chat這個基本無解

[kenshin]

@Tony-Wang 某系体系是比较规范的。问诊单也可以机械到细化。大方向不应该错的。六经辨证，总能分出哪一经或多经合病并病。表里同病。水火气血，单一病还是两者三者四个都出现，还出现权重比例不一样。证据链越长，指向月明确。但是通用LLM还是只是通用。个人使用，没硬件没能力微调。现在使用中只作参考。大多数辅助诊断和选方都不采用。原因是病史采集语言不一定是向量库中一致。还有交叉重组，意义不一定和资料中一样。所以任重而道远。只能作为小学生做题目参考。换句话说：题目还没读懂，就写答案。九成九是错的。

[terry]

@Tony-Wang ，中医确实比较玄学，这事还得靠老师傅望闻问切吗，别说AI，就是你专门学中医的，也搞不准。

[Jake Kwoh]

可不可以说，即使是用伤寒体系这种公式化的辩证体系，也会因为一个‘证‘的多可能性，会导致多个‘证‘的更多可能性指数级别地让路由节点爆炸，最后是机器采用自认为的高confidence的答案认为一级棒，实际上有经验的从业者一眼尴尬，因为即使比对‘经验‘信息后，也是变成了一次引入更多噪音的处理-毕竟经验本身在中医体系里没有量化的golden cases？可能这个方向整体很危险，因为面对现代化生活的各种乱七八糟，和百年前都已经十万八千里了，更不要说一两千年前，现代化的各种奇奇怪怪的病，早超出了古人‘病‘的范畴了，这导致回归调教又是一个不可知的问题。