佬们,求教如何生成训练LORA用的人物数据集
-
-
这个需求的关键不是「让 Qwen 一次生成 100 张」,而是先把人物身份锁死,再扩场景。你现在卡住,大概率是顺序反了:用 text2img 直接铺数据集,每张脸都靠运气,最后训练集本身就是漂的。
建议按这个最小闭环走:
1)先做身份锚
- 选 8–15 张同一人的真实照片(不同角度、光照、表情),先训一版 identity LoRA(rank 16–32,lr 1e-4 量级,800–1500 step);或者在有参考图能力的 Qwen-Image-Edit 里固定一张正面半身照当母版。
- 再做一张「角色三视图 / 表情表」(正面、侧面、半身、中性光、纯色背景),以后所有场景图都拿它当参考图,而不是只靠文字描述长相。
2)用 Edit / 参考图扩场景,不要用纯文生图
- 每次只改一个变量:场景、服装、动作、镜头、光照,其余保持不变;同组固定 seed,方便复现。
- 提示词示例:同一人,在厨房做早餐,清晨侧光,35mm 生活照,自然表情。不要堆「漂亮 / 精致」这类会拉高塑料感的词。
- 先每个维度生成 5 张看一致性,再放量。身份漂移的图直接丢,不要指望训练时能救回来。
3)数据集配比与清洗(比生成更重要)
- 目标 80–150 张:场景 30%、服装 20%、表情/动作 20%、光照 15%、构图与距离 15%。
- 用 InsightFace/ArcFace 与母版比对,余弦相似度低于 0.55–0.6 的剔除;再用 CLIP/aesthetic 分、pHash 去重,分辨率 ≥1024,无文字水印。
- 手、脸、眼镜、牙齿崩坏的直接删。训练集里一张坏图,LoRA 会学十遍。
4)打标
- 用 Qwen2.5-VL / Florence-2 / JoyCaption 自动打标,再人工改。
- 触发词 + 自然语言描述;背景、服装、动作、镜头写具体,别每张都重复「同一个人」(容易过拟合)。留 10–20% 样本不写触发词做正则。
5)训练与验证
- kohya / ai-toolkit / diffusion-pipe 都行,先确认训练器支持 Qwen-Image 2.1 的 text encoder;先 1 epoch 看样本,不要一上来 10 epoch。
- 留 20% 做验证:看身份相似度、提示词遵循、多样性三项,别只看 loss。
6)ComfyUI 排障
- 先跑官方 example 对照,确认 ckpt / text encoder / VAE 三者匹配,CLIP 用的是 Qwen2.5-VL 而不是别的;核对 sampler、steps、cfg、分辨率是否和教程一致;检查是否漏装或错装加速 LoRA。
- 缺节点不要用 DeepSeek 盲修工作流,按节点仓库 README 装对应版本,ComfyUI 和自定义节点都固定版本。很多「效果差很远」其实是模型版本或节点版本不一致。
最后一句预期管理:纯 AI 生成的数据集训出来的 LoRA,会把基模自身的风格和缺陷一起放大。能拿到真图时,真图 30–50 张 + AI 扩场景 50–80 张混合,通常比全合成稳得多;人物是虚构的,就用三视图当身份锚,不必强求真图。