一文看尽LLM对齐技术：RLHF、RLAIF、PPO、DPO……

今日应用

花火数据

今日话题

一文看尽LLM对齐技术：RLHF、RLAIF、PPO、DPO……

 

重点标签 LLM对齐技术、RLHF、PPO、DPO、AI反馈、纳什学习

文章摘要

对齐大型语言模型（LLM）的价值观与人类保持一致是至关重要的，Salesforce发布的一份综述报告全面总结了现有研究文献，并分析了各种对齐技术。

大型语言模型（LLM）虽然功能强大，但也可能产生错误或有害的结果。为了解决这一问题，研究者们采用了多种技术来对齐LLM与人类的价值观。Salesforce发布的37页综述报告《A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More》详细分析了这些技术，包括基于人类反馈的强化学习（RLHF）、直接偏好优化（DPO）、AI反馈和纳什学习等方法。

报告指出，RLHF技术通过使用人类反馈来微调模型，成功对齐了语言模型与用户意图。InstructGPT作为OpenAI的一个项目，通过整合人类偏好来提高模型性能。而Anthropic的研究则表明，对于大型模型，对齐可以带来好处，而不会对NLP基准性能产生负面影响。

除了RLHF，基于AI反馈的强化学习（RLAIF）也是一种有效的对齐方法。Anthropic和谷歌的研究团队分别提出了不同的RLAIF方法，通过使用AI生成的反馈来提升LLM的对齐效果。

直接偏好优化（DPO）是另一种对齐方法，它直接使用人类偏好数据来优化模型策略，避免了奖励估计和最大化的问题。此外，还有研究探索了在token级别应用DPO，以及迭代式/在线DPO来持续提升模型性能。

报告还提到了使用二元反馈来简化对齐过程的方法，以及将监督式微调（SFT）与对齐过程结合的方法。此外，负偏好优化（NPO）利用模型不期望的响应来进一步对齐LLM。

最后，纳什学习方法通过建模成对偏好来解决人类标注者之间的不一致问题，尽管这一方法需要多次迭代才能收敛。

报告提出了未来研究方向，包括开发用于对齐评估的一般任务、将隐式奖励模型和逐列表偏好应用于更大规模的模型、探索二元反馈的应用、使用LLM生成有用的AI反馈、加速纳什学习过程，以及简化SFT与对齐的组合方法。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心