预训练通常从较广泛资料中学习表示与规律;微调在已有模型基础上继续调整参数;监督微调(SFT)使用带目标输出的示例学习相应行为。它们与运行时向模型提供一份文档是不同活动。
示例帮助学习什么
示例可以展示任务形式、表达习惯或处理方式。训练后面对新情况是否合适,仍需要另外评价,不能因为见过相似例子就认定已经可靠掌握一个领域。
LoRA属于哪一层
LoRA是参数高效适配的一种公开方法,探索用较少可训练参数调整模型。它不等于所有微调,也不保证每项任务都比其他方式更好。
微调与RAG怎样选择问题
微调涉及模型参数,RAG帮助使用外部资料。需要改变回答形式与需要查询经常更新的事实,可能是不同需求。具体系统可以组合多种方式,但应分别解释其作用。
理解这些问题时,可以结合大语言模型继续比较相关概念的含义与适用范围。
相关项目探索,可从LingoAI的AI方向继续了解。
常见问题:把资料上传给AI就是训练了吗? 不能直接这样理解。应查看系统是在当前上下文使用、放入知识库,还是确实进行参数更新。
公开参考: 人类反馈与指令跟随研究;LoRA。