Holon.liveHOLON OF HOLONS

RLHF是什么 人类反馈怎样影响模型

中文 · 对照英文

RLHF是Reinforcement Learning from Human Feedback的缩写,通常译为基于人类反馈的强化学习。它利用人的反馈影响模型行为,具体流程与反馈形式取决于方法。

示范与偏好不同

示范展示希望系统怎样回答,偏好则可以比较两个结果。一个公开研究路线将示例学习、偏好数据和强化学习联系起来,但这不是所有反馈训练必须采用的唯一过程。

谁的反馈很重要

参与者背景、任务描述和评价要求都会影响反馈。某个样本群体更喜欢的答案,不必然适合所有文化、领域和使用者,因此需要说明资料范围及评价条件。

好听与正确也要区分

回答可能更符合表达偏好,却仍然包含事实错误。偏好训练不能替代来源核对、领域评价和对具体用途的判断。

理解这些问题时,可以结合预训练与微调继续比较相关概念的含义与适用范围。

相关项目探索,可从LingoAI的AI方向继续了解。

常见问题:RLHF让AI与全人类完全对齐了吗? 不能这样保证。它是一组训练方法,不是已经解决所有价值分歧和行动风险的证明。

公开参考: 人类反馈与指令跟随研究。