今日应用
今日话题
牛津剑桥「投毒」AI失败9次登Nature封面，引爆学术圈激辩！AI训AI能否打破崩溃魔咒？
重点标签 AI合成数据、模型崩溃、混合数据、强化学习、真实数据
文章摘要
牛津剑桥论文引发AI社区讨论
最近，牛津、剑桥、帝国理工、多伦多大学等机构的一篇论文登上了Nature封面，提出了AI的“近亲繁殖”问题，即如果在训练中不加区别地只用AI产生的内容，就会发生模型崩溃。这篇论文引发了AI社区的大量讨论，许多人认为问题的核心不在“合成数据”上，而是在“数据质量”上。马毅教授表示，如今我们已经走进了缺少科学思想和方法的时代，许多研究只是重新发现一些科学常识。
避免模型崩溃的方法
1. 混合数据：Scale AI的CEO Alexandr Wang认为，利用纯合成数据来训练模型，是不会带来信息增益的。他提出混合数据（Hybrid Data）是未来的发展方向，它能够避免所有与模型崩溃相关的棘手问题。混合数据需要通过某种新的信息来源来生成，包括使用真实世界数据作为种子、人类专家参与和形式逻辑引擎。
2. 强化学习：来自Meta、纽约大学和北京大学的研究人员提出了一种通过人类或较弱模型的“排序-修剪反馈”方法，可以恢复甚至超越模型原来的性能。这种方法基于合成数据反馈来防止模型崩溃。研究表明，当合成数据点的数量趋于无限时，基于选定数据训练的模型可以达到与原始数据训练相媲美的最佳结果。
3. 真实数据+合成数据：斯坦福大学的博士生Rylan Schaeffer指出，模型崩溃通常出现在研究人员故意采用与实际操作不匹配的方法时。他所在的团队研究了积累数据对模型崩溃的影响，发现用每一代的合成数据替换原始的真实数据，确实会导致模型崩溃。但是，如果将连续几代的合成数据与原始的真实数据一起积累，可以避免模型崩溃。
实验结果
– 在算术任务（矩阵特征值预测）上训练Transformer，并使用与真实值的距离来修剪大量合成数据。
– 使用大语言模型（Llama 2）和有限的合成数据进行新闻摘要。
– 在文本数据上训练因果Transformer，结果显示，替换数据会导致测试交叉熵的增加，而积累的数据会导致测试交叉熵等于或更低。
– 在分子构象数据上训练扩散模型序列，结果表明，替换数据时测试损失增加，而累积数据时测试损失保持相对恒定。
– 在CelebA上训练自变分编码器（VAE）序列，发现替换数据再次表现出模型崩溃，而积累数据会显著减缓模型崩溃。
结论
通过人类和模型的强化，可以提升性能并防止模型崩溃；而在没有强化的情况下则会出现性能下降。在用合成数据训练新模型时，不仅要关注生成器的质量，还需要一个高质量的验证者来选择数据。一句话总结就是：reinforcement is all you need！
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
