本地模型微调Fine-Turning,真的简单的令人发指.

[mark]

这两天,学习起了劲头了. 寻思把 本地模型微调也学习吧.

基本一天就搞定了. 核心就是 准备数据集,然后一键搞定.

本地模型: Qwen2.5-7B-Instruct
微调工具: unsloth studio

效果如下:

[566656661]

微調的話應該在圖生成的比例比較多, 尤其是Lora

純字的話其實真的要微調的機會應該不多吧, 先不説要準備好乾净的資料, 而且在微調出來的效果可能比用LLM Wiki或者RAG還差...

[terry]

文字领域检索就行了，没有范文的话模型自身用参数大一点的，如果有在线搜索最好了。LLM Wiki也不错，RAG其实也是拉垮。

[kop wang]

如果只考虑做一个“实验室产品”的话，LLM整套体系其实都不复杂。
甚至Hermes Agent都自带一套关于模型训练的skill，在mlops目录下。

目前后训练的话，除了通过微调对齐实现类似LoRA的效果（用系统提示词容易“越狱”），以及微调非拒绝以外，好像也没什么实际的个人级别的应用。

毕竟类似Agent能力，工具调用能力等，这种后训练都是针对性的，而且各家都有各家的办法，属于商业机密。

[mark]

@566656661 也不是图生成, 其实文字检索版本,企业级需要的多, 比如 物流行业,各种特殊行业. 他们需要一些本地微调版本的模型. 用来做企业客服,或者内部培训.

[CS6]

最近工作也在訓練寫作模型，光是乾淨的資料真的就很難找.....

[mark]

@CS6 这个确实是的, 买pdf的图书 ,自己清洗数据吧. 网络上面的 都是AI生成的, 数据太脏了

[566656661]

@CS6

之前在MRI公司有幫忙做過軟組織的區域界定, 算是Object Identification跟YOLO那邊 (You Only Look Once)

單是手動標記幾百張的軟組織CT圖就用了快幾天, 而且還是單純小腿部分

如果整個人體通用模型都要做估計沒有一個月都沒辦法完成...

[mark]

其实 cc 和codex ,也都是 买 书籍来训练模型, 居然 cc 还买了中文盗版书 ,训练出笑话了.

因为只要是正规的大出版社,他们都有人为校对,正经人为的参与工作. 而不是AI生成的一堆垃圾文章.连错别字都有很多.

现在今日头条和小红书,尤其是图文的, 是AI 生成的重灾区, 几乎没办法看了. 全是垃圾.

[566656661]

@mark

人類跟模型在日後變得更笨的可能性越來越大了

模型自己沒辦法完全依靠自己生成資料來訓練, 然後被迫要加入垃圾内容

然後人類又依賴變笨的模型來生成更多的東西