-
一、基础定义
1. LoRA
全称低秩适配，是轻量级模型微调技术。不改动主模型核心权重，仅新增并挂载少量低秩矩阵参数，内嵌于模型内部。属于模型层补充，用于固定、约束主模型的生成特征与行为。
2. RAG
全称检索增强生成，是外挂式知识库体系。完全不修改主模型权重，依靠向量数据库存储文本、图像等资料，通过语义检索调取外部信息并输入主模型。属于信息层补充，用于补齐主模型缺失内容、约束生成内容准确性。
3. 共性
二者均作为主模型的补充方案，核心目的是约束主模型，让输出结果符合使用预期。
二、通用大模型领域应用
1. LoRA
可用于文本、图像等全品类大模型。通过少量数据训练后，让模型固化专属能力、风格、人设、输出格式等，长期改变模型生成倾向。
2. RAG
适用于所有生成类大模型。为主模型补充训练集之外的新知识、专业细节、客观事实，解决模型知识老旧、生成内容出现幻觉的问题，不会改变模型本身能力。
三、实用举例
案例1：RAG（通用文本大模型示例）
使用本地文本大模型搭配RAG。提前将企业规章制度、产品参数文档存入向量数据库。用户向大模型提问“查询这款设备的售后保修规则”，大模型自身训练数据无相关内容，RAG先检索数据库内对应的保修条款，将检索到的原文信息拼接后一同传给大模型。大模型依托这份外部资料作答，输出内容准确贴合实际规则，避免编造信息。
案例2：LoRA（ComfyUI 图像生成示例）
基于ComfyUI与Flux图像模型使用LoRA。加载Flux主模型后，接入专门训练的人物LoRA节点。输入简单提示词“人物半身肖像”，LoRA会持续约束模型生成逻辑，固定目标人物的五官、脸型与神态，保证多次出图人物特征统一，不会出现面部变形、人物样貌错乱的情况。
-
x上有很多关于RAG的质疑声音，模型的不同，检索出来的效果也不同，所以很多人开始质疑了，随着上下文越来越大，很多时候，把材料全放到上下文，比rag的向量化检索更精准。感觉说的有道理，但是谁知道呢，毕竟模型月来月聪明（有利于rag），上下文越来越大（直接把文档塞到上下文）。
-
对于RAG有很多唱衰的声音，主要是语义检索即便是采纳率到95%，依然是拼不过LLM直接迭代的关键词检索。语料语义化的价值在被质疑。或者说语义化引入的噪声大于其“压缩上下文”的收益。
-
qwen3.6 27b 本地上下文只有256k, 云端各个服务商也就 1M 或者更多些. 但一部<天龙八部> 要2M多, 一部<罗马帝国衰亡史> 要5M多. llm 一次吞不下, 即使吞下, 效率也是很低的.
对一个大的知识库进行分析, 无论从容量到效率, 仅仅依靠 llm 肯定是不行的, 起码是不经济的.
我的理解是, 肯定要想办法切片检索, 要么用RAG, 要么用分步滑动总结等等方法.
-
@Tony-Wang 你说的很对，如果AGI是以后习以为常的生活，那么，咱们现在还活在农耕时代！所有东西都在发展，有质疑不怕，能做的更好才牛逼！我的第一台电脑64MB内存，硬盘10G。
-
@Tony-Wang 哈哈，都是老玩家啊。这个社区平均年龄块能领退休工资了。话说回来，愿意折腾的，还是那些人。
-
T terry 从 AI进阶话题 移动了该主题
-
T terry 从 LLM讨论区 移动了该主题
