两篇论文同时获最佳论文荣誉提名，SIGGRAPH上首个Real-Time Live的中国团队用生成式AI创建3D世界

今日应用

LIBVIO – 海外影视资源

海外影视迷的福音，各种在线观看的海外影视资源。这里集齐了日韩剧、欧美剧、动漫剧，和其他各种剧集。各种影视资源应有其有！

今日话题

两篇论文同时获最佳论文荣誉提名，SIGGRAPH上首个Real-Time Live的中国团队用生成式AI创建3D世界

 

重点标签 SIGGRAPH 2024、3D模型生成、AI技术、CLAY、Rodin

文章摘要

上海科技大学MARS实验室团队在SIGGRAPH 2024大会上获得两篇最佳论文荣誉提名
上海科技大学MARS实验室团队在SIGGRAPH 2024大会上获得两篇最佳论文荣誉提名，其研究成果CLAY和DressCode分别聚焦于3D生成和3D服装生成。该团队展示了基于CLAY的3D生成解决方案，通过单张图片生成不同风格的卡通形象，背后是新一代3D AI引擎Rodin。Rodin可以生成PBR纹理和四角面，支持3D ControlNet控制AI生成形状，甚至支持直接手绘和涂鸦。

CLAY采用3D原生技术路线，直接从3D数据集训练生成模型
CLAY采用3D原生技术路线，直接从3D数据集训练生成模型，通过定制的数据处理流程挖掘多种3D数据集，提出了有效的技术来扩展生成模型。CLAY包含一个参数量高达15亿的3D生成模型，实现了对几何的精确控制。研究者还设计了3D版ControlNet，支持各种不同模态的条件控制。

Rodin已成为很多3D开发者的常用3D生成器
Rodin已成为很多3D开发者的常用3D生成器，大幅降低了3D创造的门槛。国内外很多行业使用者反馈认为，Rodin生成的3D资产几何科学、布线规则、材质贴图精致，而且可以直接被导入现有的主流渲染引擎，使用起来非常方便，是一款接近Production-Ready的3D生成应用。

基于CLAY的3D生成技术不仅指引着业界方向，还将对图像和视频的生成起到积极作用。因为从信息熵的角度来说，你提供的信息越少，模型发挥的空间就越大。而3D模型化可以锚定其收敛的方向，提高图像、视频生成的可控性。不过，3D领域本身不像图像和视频那么简单，只有补齐完整链条，用户才会真正开始接受3D + AI的能力。这部分工作可能通过合作伙伴的API，或者由其团队自行完成。期待未来，新技术的进一步落地。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心