-
qwen3.6 27b 本地上下文只有256k, 云端各个服务商也就 1M 或者更多些. 但一部<天龙八部> 要2M多, 一部<罗马帝国衰亡史> 要5M多. llm 一次吞不下, 即使吞下, 效率也是很低的.
对一个大的知识库进行分析, 无论从容量到效率, 仅仅依靠 llm 肯定是不行的, 起码是不经济的.
我的理解是, 肯定要想办法切片检索, 要么用RAG, 要么用分步滑动总结等等方法.
-
@Tony-Wang 你说的很对，如果AGI是以后习以为常的生活，那么，咱们现在还活在农耕时代！所有东西都在发展，有质疑不怕，能做的更好才牛逼！我的第一台电脑64MB内存，硬盘10G。
-
T terry 于 将此主题从 AI进阶话题 移至此处
-
T terry 于 将此主题从 LLM讨论区 移至此处
-
NotebookLM就是典型的RAG应用范例，LoRA才是小企业们的战场，可以各显神通搞出各自有特色的垂直行业模型。本人就尝试做这方面研究，包括模型生成后的安全防护话题，有兴趣可以一起探讨。
-
做了中医某体系的rag系统，资料切片，1400+文件耗时8小时+。还要+rerank。多维度交叉。结果：不同模型辅助诊断出来的方子不一样。重新诊断也不一定一样。现在开始新的概念：rag+agent，但是无论怎么折腾。还是不如人脑。但是如果用来总结概述。对比。这些意义还是有的。原因很简单，喂的料做出了的rag系统和使用者的语言语义不一致。还有大模型要出唯一答案，最好机械一点。temp=0， Prompt 里强制约束。现在来说，rag系统只能用来学习。不能结合llm用来搞生产。 最起码严谨的工作领域还不能作为生产力。
-
做了中医某体系的rag系统，资料切片，1400+文件耗时8小时+。还要+rerank。多维度交叉。结果：不同模型辅助诊断出来的方子不一样。重新诊断也不一定一样。现在开始新的概念：rag+agent，但是无论怎么折腾。还是不如人脑。但是如果用来总结概述。对比。这些意义还是有的。原因很简单，喂的料做出了的rag系统和使用者的语言语义不一致。还有大模型要出唯一答案，最好机械一点。temp=0， Prompt 里强制约束。现在来说，rag系统只能用来学习。不能结合llm用来搞生产。 最起码严谨的工作领域还不能作为生产力。
-
做了中医某体系的rag系统，资料切片，1400+文件耗时8小时+。还要+rerank。多维度交叉。结果：不同模型辅助诊断出来的方子不一样。重新诊断也不一定一样。现在开始新的概念：rag+agent，但是无论怎么折腾。还是不如人脑。但是如果用来总结概述。对比。这些意义还是有的。原因很简单，喂的料做出了的rag系统和使用者的语言语义不一致。还有大模型要出唯一答案，最好机械一点。temp=0， Prompt 里强制约束。现在来说，rag系统只能用来学习。不能结合llm用来搞生产。 最起码严谨的工作领域还不能作为生产力。
-
做了中医某体系的rag系统，资料切片，1400+文件耗时8小时+。还要+rerank。多维度交叉。结果：不同模型辅助诊断出来的方子不一样。重新诊断也不一定一样。现在开始新的概念：rag+agent，但是无论怎么折腾。还是不如人脑。但是如果用来总结概述。对比。这些意义还是有的。原因很简单，喂的料做出了的rag系统和使用者的语言语义不一致。还有大模型要出唯一答案，最好机械一点。temp=0， Prompt 里强制约束。现在来说，rag系统只能用来学习。不能结合llm用来搞生产。 最起码严谨的工作领域还不能作为生产力。
-
@Tony-Wang 某系体系是比较规范的。问诊单也可以机械到细化。大方向不应该错的。六经辨证，总能分出哪一经或多经合病并病。表里同病。水火气血，单一病还是两者三者四个都出现，还出现权重比例不一样。证据链越长，指向月明确。但是通用LLM还是只是通用。个人使用，没硬件没能力微调。现在使用中只作参考。大多数辅助诊断和选方都不采用。原因是病史采集语言不一定是向量库中一致。还有交叉重组，意义不一定和资料中一样。所以任重而道远。只能作为小学生做题目参考。换句话说：题目还没读懂，就写答案。九成九是错的。
，中医确实比较玄学，这事还得靠老师傅望闻问切吗，别说AI，就是你专门学中医的，也搞不准。