RAG LoRA和大模型的关系以及应用场景

[terry]

因为这个区Tony提议开设，我以为大神们颇有涉猎，但是开通后发现没人发帖，为了缓解尴尬的气氛，我发个基础概念。如果说未来行业应用垂直落地，RAG和Lora就是必修课。我用不到那么深，以后如果尝试做动画，可能会实践下。

[AGI]

x上有很多关于RAG的质疑声音，模型的不同，检索出来的效果也不同，所以很多人开始质疑了，随着上下文越来越大，很多时候，把材料全放到上下文，比rag的向量化检索更精准。感觉说的有道理，但是谁知道呢，毕竟模型月来月聪明（有利于rag），上下文越来越大（直接把文档塞到上下文）。

[kop wang]

对于RAG有很多唱衰的声音，主要是语义检索即便是采纳率到95%，依然是拼不过LLM直接迭代的关键词检索。语料语义化的价值在被质疑。或者说语义化引入的噪声大于其“压缩上下文”的收益。

[Tony Wang]

@AGI

qwen3.6 27b 本地上下文只有256k, 云端各个服务商也就 1M 或者更多些. 但一部<天龙八部> 要2M多, 一部<罗马帝国衰亡史> 要5M多. llm 一次吞不下, 即使吞下, 效率也是很低的.

对一个大的知识库进行分析, 无论从容量到效率, 仅仅依靠 llm 肯定是不行的, 起码是不经济的.

我的理解是, 肯定要想办法切片检索, 要么用RAG, 要么用分步滑动总结等等方法.

[Tony Wang]

@kop-wang

RAG也在不断优化中, 加入 混合检索, rerank, 知识图谱, 再加上越来越长的上下文llm, 短期内应该还是主流解决方案.

长期来看, 全部上下文的分析, 从效率和经济性上都是硬伤, 只能算是 大力出奇迹, 市场应该承受不起.

[AGI]

@Tony-Wang 你说的很对，如果AGI是以后习以为常的生活，那么，咱们现在还活在农耕时代！所有东西都在发展，有质疑不怕，能做的更好才牛逼！我的第一台电脑64MB内存，硬盘10G。

[Tony Wang]

@AGI

我的第一台电脑是 Ti的486, 4M 内存, 10M的 全高5寸硬盘(从单位顺来的)

那个4M内存条, 当年的价格是1030元, 我现在还记得

[AGI]

@Tony-Wang 哈哈，都是老玩家啊。这个社区平均年龄块能领退休工资了。话说回来，愿意折腾的，还是那些人。

[Tony Wang]

保持好奇心, 大家共勉

[terry]

我频道的观众年龄从18-25到55-65都有，中年人最多，年轻人其实也不少。我说实话，老年人折腾下AI挺好的，防止老年痴呆。以后我们活到100岁应该不是难事，当然了，遇到意外噶了也正常。医疗在进步，60岁之后干嘛呢？还有几十年的时间呢。各种辅助工具也会越来越多，不如多思考下，AI就是最好的玩具。