今日应用
今日话题
CVPR 2024 高分论文！GenN2N：一种全新的生成式NeRF编辑框架
重点标签 NeRF、编辑框架、3D VAE-GAN、多视角一致性、生成式编辑
文章摘要
GenN2N 是由香港科技大学和清华大学的研究者共同提出的一个统一的生成式NeRF-to-NeRF转换框架。该框架适用于多种NeRF转换任务，包括文字驱动的NeRF编辑、着色、超分辨率和修复等，并且在性能上表现出色。GenN2N的核心是通过生成的方式处理编辑过程的多解性，从而能够产生大量符合要求的编辑结果供用户选择。
在方法上，GenN2N首先进行2D图像编辑，然后将这些编辑提升到3D NeRF实现生成式的转换。主要包含以下几个部分：
1. 隐式蒸馏（Latent Distill）：使用Latent Distill Module作为VAE的encoder，为每张编辑图像学习一个隐式编辑码，通过KL loss约束服从正态分布，解耦编辑内容和视角。
2. NeRF-to-NeRF的转换：使用NeRF-to-NeRF Translation作为VAE的decoder，以编辑码为输入，通过添加残差层并参与生成对抗训练，实现NeRF的高效转换。
3. 条件判别器（Conditional Discriminator）：为判别器提供额外的条件信息，以应对复杂的生成空间，确保判别器在鉴别正负样本时不受视角因素干扰。
4. 推理（Inference）：用户可以从正态分布中随机采样编辑码，生成高质量、多视角一致性的3D NeRF场景。
实验结果显示，GenN2N在多种NeRF-to-NeRF任务上均展现出卓越的编辑质量、多视角一致性、生成多样性和编辑效率。与特定NeRF任务的SOTA方法相比，GenN2N作为一个通用框架，其表现相当或更优，同时具有更强的多样性。
该研究由香港科技大学谭平团队、清华大学3DVICI Lab、上海人工智能实验室和上海期智研究院共同完成。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
