今日应用
今日话题
通用世界模型问世:不学习就能生成新领域视频,可实时控制
重点标签 AI视频生成、世界模型、Pandora模型、自回归模型、交互式内容生成
文章摘要
在AI视频生成领域,OpenAI于今年2月发布了Sora,使得世界模型再次成为AI领域的热门话题。世界模型是一种通过预测未来来理解数字世界和物理世界的范式,被认为是实现通用人工智能(AGI)的关键路径之一,与当前流行的智能体(Agent)方向形成对比。
最新的研究由UC San Diego和穆罕默德・本・扎耶德人工智能大学(MBZUAI)等机构进行,他们引入了Pandora模型,向构建通用世界模型迈出了重要一步。MBZUAI校长邢波(Eric Xing)表示,Pandora是一个可以通过语言命令实时操控的世界模型,能够在视觉空间中实时推理概念层面,标志着超越语言世界中的LLM,进入物理和感官世界的新阶段。
Pandora模型是一种混合自回归扩散模型,能够通过生成视频来模拟世界状态,并允许通过自由文本动作进行实时控制。它通过大规模预训练和指令调整实现了领域通用性、视频一致性和可控性。更重要的是,Pandora通过集成预训练的LLM(7B)和预训练的视频模型,绕过了从头开始训练的成本,只需要额外的轻量级微调。研究展示了Pandora在不同领域(室内/室外、自然/城市、人类/机器人、2D/3D等)的广泛输出能力,结果表明,通过更大规模的训练,可以构建更强大的通用世界模型。
Pandora模型具有以下特点:
1. 领域通用性:能够生成广泛领域的视频,如室内/室外、自然/城市、人类/机器人、2D/3D等场景。
2. 动态控制:接受自然语言动作描述作为视频生成期间的输入,以指导未来的世界状态,支持交互式内容生成并增强稳健的推理和规划。
3. 动作可控性跨域迁移:使用高质量数据进行指令调整,使模型能够学习有效的动作控制,并迁移到不同的新领域。
4. 自回归生成更长的视频:基于扩散架构的现有视频生成模型通常会生成固定长度的视频,而Pandora能够以自回归方式无限延长视频持续时间,生成更高质量的更长视频。
Pandora模型的架构包括自回归主干网络(源自预训练LLM)和视频生成器(使用预训练视频模型进行初始化),以及视觉编码器和两个适配器。研究采用了两阶段训练策略,包括预训练和指令调整,以实现一致性、可控性和通用性。
尽管Pandora在某些方面仍存在挑战,如生成高质量和良好可控的视频,以及数据质量对模型性能的影响,但该研究展示了通过更大规模的训练,构建更强大的通用世界模型的潜力。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心