无需参考图片，端到端采样无限创建新角色！大连理工卢湖川、贾旭团队开源CharacterFactory

今日应用

百度作家平台

百度作家平台，百度旗下服务网络文学作家的一站式创作与投稿平台。作家可以在平台上创作短篇故事与长篇小说、投稿、管理作品、查看作品收益数据等。同时平台依靠百度强大的AI能力与平台服务，助力作家打磨出更好的作品。

今日话题

无需参考图片，端到端采样无限创建新角色！大连理工卢湖川、贾旭团队开源CharacterFactory

 

重点标签 CharacterFactory、大连理工大学、图像生成、GAN、上下文一致性

文章摘要

大连理工大学的IIAU团队提出了一个名为CharacterFactory的框架，它能够在极短的时间内，使用极少的显存，端到端地生成具有高度一致性和可编辑性的新角色图像。该框架无需参考图片，训练10分钟，仅需2.5GB显存，就能在3秒内生成新角色。它还能与动作、背景、风格等文本提示结合，实现一致性图像生成，并且可以与视频、3D等模型无缝结合，即插即用。

引言：
在文本到图像生成领域，扩散模型已成为重要工具。但现有生成模型的随机性导致在不同上下文中生成一致内容存在困难。CharacterFactory旨在解决这一问题，通过两阶段工作流，首先使用文本到图像模型创建新角色图像，然后采用主体驱动方法生成一致身份图像。

方法：
CharacterFactory利用GAN采样出具有一致性的身份词向量，将该向量在推理时插入，产生一致的角色图片。研究者们训练了一个向量级GAN模型，学习从隐空间到名人词向量空间的映射，并通过AdaIN辅助使生成的身份词向量更自然地与名人空间的分布对齐。此外，设计了上下文一致性损失，使生成的伪身份词向量在不同上下文中表现出一致的身份。

实验结果：
实验表明，CharacterFactory在人脸相似性、可编辑性、可信人脸多样性和图像质量等方面均优于现有方法。它还能在隐空间中进行插值，生成的身份能够产生平滑的变化，证明其与Stable Diffusion的无缝集成能力。此外，CharacterFactory还能为故事插图生成一致身份，结合不同上下文产生相应结果。

结论：
CharacterFactory以极低的训练开销和极快的推理速度，实现了端到端无限新角色采样，展现出良好的一致性和可编辑性。它可以与ControlNet、视频、3D等模型结合，做到即插即用，是一致角色生成的重要一步。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台