9种收费开源工具 用稠密视角X光成功3D重建 NeRF透视增强

新智元报道

编辑：LRST

【新智元导读】 本文提出了SAX-NeRF框架，一种专为稠密视角下X光三维重树立计的新型NeRF方法，经过LineformerTransformer和MLG采样战略清楚优化了新视角分解和CT重建的性能。钻研者还树立了X3D数据集，并开源了代码和预训练模型，为X光三维重建畛域的钻研提供了贵重的资源和工具。

妇孺皆知，X光由于有着十分弱小的穿透力而被宽泛地运行于医疗、安检、考古、动物、工业检测等场景的透射成像。

但是，X光的辐射作用对人体是有害的，受试者与测试者都会或多或少地收到影响。为了缩小X光对人体的损伤，人们开局钻研稠密视角下的X光重建从而降低在X光中的泄露期间。

这关键蕴含了两个子义务：

1.新视角分解，即从一个被扫描物体的一些已拍摄的视角来分解出新的没有被拍摄过的视角下该物体的投影。

2.CT重建，即从多视角的X光投影中复原出密集的三维CT体辐射密度(volumeradiodensity)。

辐射密度描写的是当X光穿透物体时，X光被排汇或许阻挠的水平大小。如图2所示，人造光成像关键靠的是光线在物体外表的反射。

而X光成像关键依托的是X光穿透物体后被排汇或阻挠。换句话说，人造光成像关注并捕捉的是物体外表的消息如纹理色彩等，而X光成像关注的更多的是物体外部的结构和材质。

图1人造光成像原理对比X光成像原理

也正是由于人造光成像和X光成像之间的清楚差异，人造光下的NeRF方法以及对应的公式并不实用于X光。

针对X光的三维重建疑问，本文提出了一种用于稠密视角下X光三维重建的NeRF方法。详细而言，关键做两个义务。一是X光的新视角分解(NovelViewSynthesis,NVS)，二是CT重建，可以繁难了解为体密度的重建。

论文链接:https://arxiv.org/abs/2311.10959

代码链接:https://github.com/caiyuanhao1998/SAX-NeRF

展示视频：https://www.youtube.com/watch?v=oVVUaBY61eo

leaderboard:https://paperswithcode.com/dataset/x3d

X光三维重建灵活demo

先给大家看一个在新视角分解义务上的性能对比图：

图2咱们的方法与SOTA方法在医学、动物、安检、工业场景上的新视角分解性能对比

目前一切的训练测试代码、预训练权重、训练日志、数据、测试结果均已开源。此外，咱们曾经在paperwithcode设置好了leaderboard，欢迎大家来提交结果。

咱们将开源的githubrepo拓展成了一个允许9类算法的工具包繁难大家的科研上班。除此之外，我还把数据可视化的代码，和造数据的代码也一同地下了，以繁难有条件的可以接触到CT数据的好友可以在自己收集的数据上展开钻研。

文中关键做出了以下四点奉献：

1.提出了一套全新的能够同时做X光新视角分解与CT成像的NeRF框架，名为SAX-NeRF。该框架的训练不须要用的CT作为监视信号，只经常使用X光片即可。

2.设计了一种新的分段式Transformer，名为Lineformer，可以捕捉成像物体在三维空间中的复杂的外部结构。据咱们所知，咱们的Lineformer是首个将Transformer运行于X光渲染的Transformer。

3.提出了一种新型的射线采样战略，名为MLGsampling，可以从X光片上提取出部分和全局的消息。

4.收集了首个大规模的X光三维重建数据集，涵盖医疗、动物、安检、工业畛域。同时，咱们设计的算法在这个数据集上取得了以后最好成果，在X光新视角分解和CT重建两大义务上比之前的最好方法要高出12.56和2.49dB。

空间坐标系的转换

咱们在圆形扫描轨迹锥形X光束扫描（circularcone-beamX-rayscanning）场景下钻研三维重建疑问。空间坐标系的变换相关如图3所示。

被扫描物体的中心O为全球坐标系的原点。扫描仪的中心S为相机坐标系的中心。探测器D的左上角为图像坐标系的原点。整个空间坐标系的变换遵照OpenCV三维视觉的规范。

图3空间坐标系转换相关示用意

本文方法

NeRF从人造光成像到X光成像

在人造光成像中，NeRF驳回一个MLPΘ来拟合的是空间中点的位置(,,)和视角(,)到该点的色彩(,,)和体密度()的隐式映射：

而在X光成像中，并不关注色彩消息，只须要重建出辐射密度。

同时咱们留意到辐射密度属性与观测的视角有关。因此，咱们指出，X光下的NeRF公式应当为：

其中的Θ表示咱们Lineformer的可学习参数。依据Beer-Lambert规定，一条X光射线的强度会沿着它所穿过的物体的辐射密度的积分而呈指数型衰减。如下公式所示：

将公式（3）中的积分团圆化，同时将其中的(())用咱们Lineformer预测的代替便可获取预测的X光强度，如公式（4）所示：

咱们的训练监视目的是预测的X光强度与实在的X光强度之间的均方误差：

Lineformer—分段式Transformer

咱们留意到X光的成像环节是沿着穿透物体被排汇或许阻挠，成像物体不同部分的结构和材质存在差异，因此X光被排汇的水平也不分歧。

但是之前的NeRF类方法大都经常使用很惯例的MLP网络对等地看待沿着射线上的采样点。假设间接驳回MLP来拟合公式（3）的话，那X光成像的关键性质便被疏忽了，难以取得很好的成果。

基于此，咱们提出了一种新型的分段式Transformer（LineSegment-basedTransformer，简称Lineformer）来拟合X光在穿透不同结构时的衰减。

咱们的算法框架如图4所示。咱们首先驳回MLPsampling战略采样出一个batch的X光射线。

对每一条射线，咱们采出一组三维点的位置。将经过一个哈希编码器获取点特色。而后经过4个分段式留意力块（LineSegment-basedAttentionBlock，简称为LSAB）与两层全衔接层便可获取这些点的辐射密度

图4SAX-NeRF的算法框架图

LSAB中最外围的模块是分段式的多头自留意力机制（LineSegment-basedMulti-headSelf-Attention，LS-MSA），其结构如图4（c）所示。将输入的点特色记为∈×，将其分为M段：

其中的∈×。而后会被线性地投影到、、：

而后将、、沿着通道维度平均地分红k个头：

而后在每一个头内计算自相似留意力如下：

而后将计算结果拼接起来，经过一个全衔接层后与一个位置编码相加后获取一段的输入：

将M段输入拼接起来便获取总的输入：

剖析咱们的LS-MSA计算复杂度如下：

与采样的点数呈线性相关。对比全局多头自留意力机制的计算复杂度：

与采样的点数呈二次相关。因此咱们的方法计算量比惯例的Transformer要小得多。

X射线采样战略

由于RGB成像中消息普遍比拟密集，即一张RGB图像中简直每一个像素都传递消息。因此，RGBNeRF在采射线时理论会经常使用随机的方式在图像上采集一批像素点，如图5(a)中的蓝色像素所示，每一个像素点对应一条射线。

但是这种射线采样的战略并不实用于X光图片，由于X光片有着较大的空间稠密性。假设随机采样的话，或许有一些采样点不落在成像区域，如图5(a)中的像素点。为了处置这个疑问，咱们设计了一种高效的射线

图5繁难随机采样(a)与咱们的采样战略(b)的对比

采样战略，名为MLGsampling，如图(b)所示。首先，咱们用一个二值化的掩膜将成像区域宰割进去。而后咱们将整个图像分红互不堆叠的小方块。

而后咱们随机抽选M个齐全落在成像区域的小方块，取出小方块内一切的像素对应的射线。在成像区域的其余位置（除开被选取的小方块外），咱们还再继续抽取N个像素点对应的射线。

将两次抽取的射线组成一个raybatch用作训练。如此采样获取的射线首先全都穿透被扫描物体，捕捉到被扫描物体的辐射密度消息。同时成块的区域还有着丰盛的语义高低文消息以协助三维重建。

试验结果

新视角分解

表1新视角分解的定量试验结果对比

图6新视角分解的视觉结果对比

新视角分解义务上的定量目的和视觉对比区分如表1和图6所示。咱们的方法比之前最好方法还要高出12.56dB。

CT图像重建

表2CT图像重建定量目的对比

图7CT图像重建的视觉对比

CT图像重建的定量目的和视觉对比区分如表2与图7所示。咱们的方法比之前最好的方法要高出2.5dB。

总结与后记

本文针对X光三维重建疑问，设计了一套基于NeRF的可同时启动X光新视角分解与CT重建的算法框架SAX-NeRF。收集了一个大规模的X光三维重建数据集X3D。

目前我曾经将开源的githubrepo做成了一套相对完善的codebase，允许9类算法，蕴含了数据生成、可视化的辅佐性能函数代码。

参考资料：

https://arxiv.org/abs/2311.10959

马上收录导航

---

---

相关标签： 射线、 工具包、 三维重建、 算法、 透视眼、

上一篇：苹果专注打造史上超薄iPhone17ChatGPT进化

下一篇：3年亏损30亿暴利的宠物医疗为何难做