今日应用
今日话题
CVPR 2024｜如何给 NeRF 开透视眼？
重点标签 SAX-NeRF、X光三维重建、Lineformer、MLG sampling、NeRF框架
文章摘要
本文介绍了一种名为SAX-NeRF的新型NeRF框架，该框架能够在无需CT图像作为监督信号的情况下，仅使用X光片进行X光三维重建。SAX-NeRF框架主要针对两个任务：新视角合成（NVS）和CT重建。新视角合成是从已知视角合成未知视角的X光图像，而CT重建则是从多视角X光图像中恢复出三维体辐射密度。该框架通过设计一种新的分段式Transformer（Lineformer）和射线采样策略（MLG sampling），有效地捕获了成像物体在三维空间中的复杂内部结构，并提高了X光三维重建的性能。
SAX-NeRF框架的主要贡献包括：
1. 提出了一种无需CT图像监督的X光新视角合成与CT成像的NeRF框架。
2. 设计了首个应用于X光渲染的分段式Transformer（Lineformer），以捕获物体内部结构。
3. 提出了一种新型射线采样策略（MLG sampling），用于提取X光图像中的局部和全局信息。
4. 收集并构建了首个大规模X光三维重建数据集，涵盖了医疗、生物、安检和工业领域。
在空间坐标系转换方面，SAX-NeRF框架考虑了圆形锥形X光束扫描场景下的三维重建问题，并遵循OpenCV三维视觉的标准进行坐标系变换。在NeRF模型方面，SAX-NeRF针对X光成像的特点，提出了一种新的MLP模型，用于拟合空间点位置和观测视角到辐射密度的映射。
Lineformer的核心是分段式多头自注意力机制（LS-MSA），它通过将输入点特征分为多段，计算每段内的自注意力，从而降低了计算复杂度。与传统的全局多头自注意力机制相比，Lineformer的计算量更小，更适合处理X光成像问题。
MLG sampling策略通过二值化掩膜分割成像区域，然后随机抽选完全落在成像区域的小方块，以及在成像区域外抽取额外的像素点，组成射线批次进行训练。这种采样策略能够捕获到物体的辐射密度信息和丰富的语义上下文信息，有助于提高三维重建的质量。
实验结果表明，SAX-NeRF在新视角合成和CT图像重建任务上的性能均优于现有方法。在新视角合成任务上，SAX-NeRF比之前最好的方法高出12.56 dB；在CT图像重建任务上，SAX-NeRF比之前最好的方法高出2.49 dB。
作者还提供了开源的代码和数据，方便研究者在自己的数据上进行研究。此外，作者将在CVPR 2024上展示他们的工作，并欢迎与会者交流学习。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
