一文回顾2024年2D/3D生成方向工作进展

今日应用

AI自动写论文

AIPaperPass，引领学术写作新潮流！免费千字大纲，5分钟生成3万字初稿，提供PPT答辩汇报、中英文知网参考文献等全方位服务。严格控制重复率，超过10%包退费。让AIPaperPass助您的研究之旅更上一层楼！

今日话题

一文回顾2024年2D/3D生成方向工作进展

 

重点标签 3D生成、扩散模型、DreamFusion、视频生成、材质建模、Transformer、4D动态场景、数字人、室内场景、室外场景

文章摘要

摘要总结：

2023年末至2024年间，3D生成领域经历了显著的技术进步。在这一时期，DreamFusion等项目的成功推动了基于2D扩散模型的3D生成技术发展。这些技术通过优化3D模型，虽然计算时间长，但展示了生成质量的显著提升。例如，Magic3D采用了两阶段coarse-to-fine策略，而Zero123则展示了微调扩散模型以实现新视角生成的能力。

进入2024年，3D生成领域出现了几个关键趋势。首先，高效三维表征的使用，特别是3D高斯表示，开始替代NeRF，成为研究的热点。其次，生成效率得到极大提升，现代3D生成方法能在几秒内完成，与之前需要数小时的2D Diffusion升维方法形成鲜明对比。此外，视频生成模型的结合为3D物体生成提供了新的思路，尤其是在4D物体生成领域发挥了重要作用。

Transformer的前向计算也被用于直接学习图像到三维表示的映射，如Adobe的LRM系列工作。材质建模方面，研究者开始关注PBR材质的生成，而不仅仅是表面颜色。同时，研究范围从物体级别扩展到室内、室外乃至城市级别的大规模场景生成。组合式生成允许每个小物体或部件有独立的三维表示，提高了编辑和重组的灵活性。

另一个重要方向是4D动态场景生成，它从3D生成迁移而来，提供了更大的发展空间。尽管3D生成领域竞争激烈，同质化问题日益严重，但4D生成的相关研究仍具有潜力。

为了跟进这些进展，研究者可以参考一系列资源，包括最新的综述、Github awesome系列和自媒体。例如，Shap-E、One-2-3-45++、Text-to-3D Generation等项目均展示了3D生成领域的新动向。同时，引入几何先验、大重建模型（LRM）、结合视频生成模型、PBR材质的生成、数字人/衣服生成、室内场景生成、室外大场景生成等也是当前研究的热点。

这些进展不仅推动了3D生成技术的发展，也为未来的研究和应用开辟了新的可能性。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台