今日应用
今日话题
何恺明新工作！加入MIT的首篇论文！打破自回归图像生成瓶颈，奥赛金牌得主参与！
重点标签 何恺明、自回归图像生成、扩散模型、掩码自回归、AI技术突破
文章摘要
摘要：
近日，深度学习领域的杰出研究者何恺明及其团队推出了一项突破性研究，成功地将自回归模型从矢量量化的束缚中解放出来，实现了连续值生成图像的创新。这项研究与Google DeepMind和清华大学合作完成，首次提出了无需矢量量化的自回归图像生成方法，颠覆了传统自回归生成技术的认知。
何恺明于2024年加入麻省理工学院(MIT)，在电气工程与计算机科学系担任教职。团队的研究成果在AI研究领域引起了广泛关注。论文题目为《Autoregressive Image Generation without Vector Quantization》，已在arXiv上发表，链接为：[Autoregressive Image Generation without Vector Quantization](https://arxiv.org/abs/2406.11838)。
扩散损失引入自回归图像生成：
自回归模型在自然语言处理中非常成功，但在图像生成等连续值领域，通常需要将图像数据离散化。何恺明团队引入了扩散损失（Diffusion Loss），使自回归模型能够直接在连续空间上建模。自回归模型学习不同token间的关联性，而扩散过程通过损失函数学习单个token的概率分布。
统一自回归和掩码生成模型的创新框架：
团队还提出了一种统一标准自回归模型（AR）和掩码生成模型（MG）的广义自回归框架，即掩码自回归（MAR）模型。该模型利用双向注意力机制，在随机顺序下同时预测多个输出标记，同时保持自回归的特性，显著提高了生成速度。
自回归+扩散 vs 自回归 vs 扩散：
MAR模型在使用扩散损失后，能够更快速且更准确地生成图像。在ImageNet 256×256数据集上的FID得分小于2.0，体现了其高效性和高质量。与当前的领先模型相比，此方法也毫不逊色。
总结：
何恺明团队的研究成果表明，自回归模型或其拓展版本在图像生成领域具有很大的潜力，不必受限于向量量化表示，可以更有效地处理连续值表示的数据。这一突破为AI领域的未来发展提供了新的可能性。
此外，极市平台还提供了多模态大模型超详细解读专栏、搞懂Tranformer系列、ICCV2023论文解读等技术专栏，以及Neural ODE、Transformer连环18问等技术综述，帮助读者深入了解AI技术的最新进展。同时，极市平台也欢迎高校师生申报教育部产学合作协同育人项目，共同推动AI技术的发展。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
