本地模型微调Fine-Turning,真的简单的令人发指.

[mark]

这两天,学习起了劲头了. 寻思把 本地模型微调也学习吧.

基本一天就搞定了. 核心就是 准备数据集,然后一键搞定.

本地模型: Qwen2.5-7B-Instruct
微调工具: unsloth studio

效果如下:

[566656661]

微調的話應該在圖生成的比例比較多, 尤其是Lora

純字的話其實真的要微調的機會應該不多吧, 先不説要準備好乾净的資料, 而且在微調出來的效果可能比用LLM Wiki或者RAG還差...

[terry]

文字领域检索就行了，没有范文的话模型自身用参数大一点的，如果有在线搜索最好了。LLM Wiki也不错，RAG其实也是拉垮。