LLM 训练:RLHF 及其替代方案

工具软件 Edge插件网 1年前 (2023-09-12) 325次浏览 已收录 0个评论

LLM 训练:RLHF 及其替代方案

-人类反馈强化学习(RLHF)以及它在现代大语言模型训练流水线中的重要性。训练流水线包括三个步骤:预训练、监督微调和对齐。RLHF用于对齐步骤,以将语言模型与人类偏好对齐。RLHF流水线包括三个步骤:对预训练模型进行监督微调,创建奖励模型,并通过近端策略优化进行微调。RLHF允许将人类偏好纳入优化目标中,这可以提高模型的有用性和安全性。本文还比较了ChatGPT和Llama 2进行RLHF的方式,并强调了RLHF的最新替代方案。


Edge插件网 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:LLM 训练:RLHF 及其替代方案
喜欢 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址