Meta开发System 2蒸馏技术，Llama 2对话模型任务准确率接近100%

今日应用

番茄简历

番茄简历 - 利用AI技术打造个性求职简历，提供多样模板，一键导出PDF、图片，助您展现职业魅力！

今日话题

Meta开发System 2蒸馏技术，Llama 2对话模型任务准确率接近100%

 

重点标签 AI系统、推理任务、自动性、System 2蒸馏、System 1微调

文章摘要

System 2 蒸馏提升AI推理性能
在大语言模型（LLM）的策略中，System 2推理倾向于深思熟虑的思维，生成中间思维允许模型进行推理和规划。然而，这种明确的推理通常会带来更高的推理成本和响应延迟。为了解决这一问题，Meta FAIR的研究者探索了一种System 2蒸馏方法，该方法可以在无监督的情况下将System 2推理蒸馏回System 1中。

无监督编译提高训练数据质量
System 2蒸馏的第一步是使用System 2模型对未标记的输入生成响应。然后，这些响应可以直接用作System 2蒸馏目标，以微调System 1模型。研究者采用了无监督管理步骤来提高训练数据质量，包括输出的自洽性和输入扰动下的自洽性。

实验结果表明蒸馏有效性
研究者对4种不同的System 2 LLM方法和5种不同的任务进行了实验。结果发现，System 2蒸馏可以在各种设置中提升System 1的性能。例如，在最后一个字母连接任务中，通过2-Step RaR方法蒸馏回System 1的模型实现了98.0%的准确率。在硬币翻转推理任务中，使用2-Step RaR蒸馏的模型也获得了75.69%的准确率。

并非所有任务都适合蒸馏
尽管System 2蒸馏在某些任务中表现出色，但并非所有任务都适合进行蒸馏。特别是需要思维链的复杂数学推理任务，如果没有深思熟虑的System 2推理，人类和AI都无法执行。

论文地址
有关这项研究的更多细节，请参阅论文：[https://arxiv.org/pdf/2407.06023v2](https://arxiv.org/pdf/2407.06023v2)

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心