今日应用
今日话题
菲尔兹奖得主亲测GPT-4o，经典过河难题破解失败！最强Claude 3.5回答离谱，LeCun嘲讽LLM
文章摘要
在探讨大型语言模型（LLM）的数学推理能力时，菲尔兹奖得主Timothy Gowers对GPT-4o进行了一项测试，以解决经典的“狼-山羊-卷心菜”过河问题。结果显示，即使是在最简单的变种问题上，GPT-4o也给出了错误答案。Gowers提出了一个新的评估标准——废话比率（crapness ratio），即模型给出的答案与正确答案之间的比率。在测试中，他发现大模型的废话比率可达到5倍。
Gowers首先提出了一个简单的问题：一个农民带着两只鸡过河，船只能容纳一人和两只动物，最少需要几次渡河。ChatGPT给出了一个5步解决方案，但这个答案实际上是荒谬的，因为正确的答案只需3次。随后，Gowers加大了难度，提出了100只和1000只鸡的过河问题。在1000只鸡的情况下，GPT-4o的废话比率达到了125倍。
此外，网友还测试了Claude 3.5，发现它在类似问题上也表现不佳，废话比率达到了3倍。这表明LLM在解决这类问题时存在明显的缺陷。一些网友认为，LLM的失败可能是因为它们缺乏常识，无法理解现实世界的情境，或者在提示方面存在问题。
Gowers的研究工作关注LLM在数学推理任务中的表现，并指出当前评估LLM的方法存在缺陷。他与合作者构建了交互式评估平台CheckMate和评分数据集MathConverse，以更好地理解LLM的工作方式。他们的研究显示，LLM在解决数学问题时可能过于依赖记忆，而不是通用、可概括的理解。
其他研究人员也发现了LLM在简单推理问题上的不足。例如，一些简单的家庭关系问题和水壶问题，大多数LLM都无法正确回答。这与LLM在基准测试中的表现形成了鲜明对比，引发了对LLM推理能力的质疑。
一些研究者认为，LLM的推理能力不足可能源于模型的过度训练或测试集设计不佳。还有观点认为，测试数据泄露也可能是一个因素。尽管存在争议，但LLM在非语言任务上的能力仍然是一个值得探讨的领域。未来的研究可能会继续探索如何提高LLM的推理和规划能力，以及如何更好地评估这些能力。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
