今日应用
今日话题
ICLR2024｜姿势引导 | 一致性 | PCDMs：多阶段的高保真高质量人像生成
重点标签 渐进式条件扩散模型、人体图像合成、三阶段流程、高质量图像、细节一致性
文章摘要
本文介绍了一种名为渐进式条件扩散模型（PCDM）的新技术，旨在解决人体图像合成中源图像与目标图像位姿不一致的问题。PCDM通过三个阶段逐步缩小目标姿态和源姿态下人物图像之间的差异，最终生成高质量和高保真的合成图像。
01 导言
在AIGC领域，保持人脸、人体和场景等的高一致性至关重要，这在视频生成、虚拟试衣和写真套装系列等实际应用中尤为明显。扩散模型在人体图像合成方面展现出巨大潜力，但位姿不一致的问题仍是一个挑战。PCDM通过三个阶段的工作流程来解决这一问题，每个阶段都针对特定的任务，以实现最终的高质量合成图像。
02 方法
PCDM包含三个条件扩散模型：先验条件扩散模型、Inpaint条件扩散模型和细化条件扩散模型。这三个模型共同工作，逐步弥合目标和源姿势下的人物图像之间的差距。
#### 2.1 先验条件扩散模型
第一阶段使用先验条件扩散模型预测目标图像的全局特征。该模型利用CLIP图像编码器提取的图像嵌入，通过对比学习捕获丰富的图像内容和风格信息，以指导目标图像合成。
#### 2.2 Inpainting条件扩散模型
第二阶段，Inpaint条件扩散模型建立源与目标之间的密集对应关系，将未对齐的图像生成任务转化为对齐的图像生成任务。该模型使用姿态编码器提取姿态特征，并利用DINOv2作为图像编码器提取源图像的细粒度特征。
#### 2.3 细化条件扩散模型
第三阶段，细化条件扩散模型以前一阶段生成的粗粒度图像为条件，提高合成图像的质量和保真度。该模型通过交叉注意机制引导纹理修复，增强细节一致性。
03 实验结果
文章提供了实验结果，展示了PCDM在具有挑战性场景下的一致性和真实感。通过三个阶段的逐步优化，PCDM能够生成高质量的合成图像，证明了其在人体图像合成领域的有效性和潜力。
文章还提供了技术专栏和极视角动态，为读者提供了更多的技术干货和行业动态。通过点击阅读原文，读者可以进入CV社区，获取更多的技术资源和交流机会。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
