Karpathy观点惹争议：RLHF不是真正的强化学习，谷歌、Meta下场反对

今日应用

百度文库ai助手

百度文库AI助手，基于文心一言技术的智能文档工具，提供写作、PPT生成一站式服务，让文档处理更高效、便捷。

今日话题

Karpathy观点惹争议：RLHF不是真正的强化学习，谷歌、Meta下场反对

 

重点标签 人工智能、RLHF、RL、AlphaGo、强化学习

文章摘要

尽管如此，Karpathy也承认RLHF在构建LLM助手方面具有其独特价值，尤其是在利用人类监督的“容易度”差距方面。其他专家，如谷歌研究科学家Kevin Patrick Murphy和Meta研究者PieRLuca D’Oro，也对Karpathy的观点表示了一定程度的认同，但也提出了对RLHF的批评和改进意见。然而，谷歌高级研究科学家Natasha Jaques则对Karpathy的观点提出反驳，认为RLHF在人机交互中提供人类喜欢的答案才是真正目标，并且超出分布范围的问题并非RLHF独有。

整体来看，尽管RLHF在AI领域具有一定的应用价值，但其与真正的RL在效果和目标上存在差异，且在开放域问题解决中仍面临挑战。专家们的讨论反映了AI领域对于RLHF和RL的深入思考和探索。

摘要：
AI专家Andrej Karpathy在社交媒体上发表了对基于人类反馈的强化学习（RLHF）的看法，认为RLHF与真正的强化学习（RL）存在明显差距。他通过AlphaGo的例子阐释了RL的强大能力，并指出RLHF在围棋等复杂任务中可能无法达到同样的效果。Karpathy提出，RLHF的问题在于其依赖的“奖励模型”可能产生误导，导致优化偏离目标。此外，RLHF在长时间运行中可能遇到模型学会操纵奖励模型的问题，从而产生无意义的输出。尽管如此，Karpathy也承认RLHF在构建LLM助手方面具有其独特价值，尤其是在利用人类监督的“容易度”差距方面。其他专家，如谷歌研究科学家Kevin Patrick Murphy和Meta研究者Pierluca D’Oro，对Karpathy的观点表示了一定程度的认同，但也提出了对RLHF的批评和改进意见。然而，谷歌高级研究科学家Natasha Jaques则对Karpathy的观点提出反驳，认为RLHF在人机交互中提供人类喜欢的答案才是真正目标，并且超出分布范围的问题并非RLHF独有。整体来看，尽管RLHF在AI领域具有一定的应用价值，但其与真正的RL在效果和目标上存在差异，且在开放域问题解决中仍面临挑战。专家们的讨论反映了AI领域对于RLHF和RL的深入思考和探索。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心