世界模型也扩散！训练出的智能体竟然不错

今日应用

火山AI写作

火山写作，字节跳动出品的免费AI中英文写作纠错与润色工具，助你写出更优质、更流畅的文章。

今日话题

世界模型也扩散！训练出的智能体竟然不错

 

重点标签 扩散模型、强化学习、DIAMOND、图像生成、Atari基准测试

文章摘要

日内瓦大学、爱丁堡大学和微软研究院的研究者联合提出了一种名为DIAMOND的强化学习智能体，该智能体在扩散世界模型中接受训练。DIAMOND在Atari 100k基准测试中取得了1.46的平均人类归一化得分（HNS），与完全在世界模型中训练的智能体的SOTA水平相当。该研究强调了视觉细节在强化学习中的重要性，并发现DIAMOND在需要捕捉细节的环境中表现尤为出色。

DIAMOND的设计基于漂移和扩散系数f和g，选择了Karras等人提出的EDM公式，并定义了一个与扩散时间相关的实值函数作为噪声时间表。研究者使用标准的U-Net 2D构建向量场，并通过自适应组归一化层将动作输入到U-Net的残差块中。实验结果表明，DIAMOND在Atari 100k基准测试中的表现强劲，超过了人类玩家在11个游戏中的表现。

此外，该研究还分析了DIAMOND的稳定性，发现在某些情况下需要迭代求解器将采样过程驱动到特定模式。与IRIS相比，DIAMOND的想象轨迹通常具有更高的视觉质量，并且更符合真实环境。

机器之心发起了2024年“人工智能+”标杆示范征集活动，旨在挖掘和展示人工智能领域具有市场竞争力、技术实力的机构、产品、案例，形成“鸿雁”引领效应。征集结果将于7月在2024 WAIC“人工智能+”论坛上公布并进行颁奖。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心