论文阅读《RGBD GS-ICP SLAM》


论文阅读《RGBD GS-ICP SLAM》

从这篇论文的Fig. 1其实可以看出来,Gaussian Splatting SLAM虽然FPS较低,但是PSNR还是很高的。

关键问题

  • 尽管基于3dgs的SLAM方法利用了高速渲染的优势,但它们未能解决根本问题:无法直接利用3D显式表示和通过2D图像渲染间接跟踪3D空间。

    Although 3DGS-based SLAM methods take advantages of the high-speed rendering, they fail to address the fundamental issue: the inability to directly utilize 3D explicit representations and the indirect tracking of 3D space through 2D image rendering.

  • 尽管解耦方法通过分离映射和跟踪过程在跟踪方面表现出更好的性能,但它们需要额外的计算资源用于独立阶段。此外,这些方法需要在三维空间中存储特征,与三维GS地图无关。

    Although decoupled methods exhibit better performances in tracking by separating mapping and tracking processes, they require additional computational resources for the independent stages. Moreover, these methods need to store features in 3D space, unrelated to the 3D GS map.

  • ==G-ICP的方法允许Gaussian这样的表示方法直接用于跟踪。==

    There exists a method that allows Gaussian, an explicit representation, to be directly used for tracking. The well-known Generalized Iterative Closest Point (G-ICP) [17,33] from the 3D scan matching family is simple yet efficient for fast tracking of 3D point clouds. During preprocessing, it only requires computing Gaussians for the current frame and the map. Given that the map in 3DGS utilizes Gaussians as an explicit representation in 3D space, using G-ICP for tracking allows for the direct utilization of the 3DGS map without the need for post-processing. Furthermore, the Gaussians of the current frame computed during tracking with G-ICP can also be directly utilized as an explicit representation in the 3DGS map, without additional computations.

Contributions

  • 结合G-ICP和3DGS的SLAM系统
  • 通过使用G-ICP进行跟踪,积极利用3D信息,减少了跟踪需要的时间
  • 通过尺度对齐技术共享了G-ICP和3DGS的协方差,降低了计算成本,并且促进了3DGS的快速收敛。

System Overview

不是很理解下面这段话,我觉得GS中3D点的数量应该是有必要调整的,我在运行这篇工作源码的时候,其实能发现点的分布不是很均匀,帧多的地方点也多。。。

不过论文后面又说,只有和现在地图不重叠的高斯函数才能被认定是目标高斯函数,从这里看就很合理。但是代码跑的结果确实存在不均匀的地方,还是再好好看看吧。

G-ICP Tracking

Scale Regularization

为什么有这个步骤?RGB-D输入的尺度不应该就是固定的吗?

这里说的尺度应该指的是高斯的大小。

这里貌似是说原始的G-ICP算法是把高斯平面化了的,把每个高斯分布视为类平面的分布。

然后本文在正则化的同时保留目标高斯函数的原始特征,做了一个椭圆正则化。

Keyframe Selection

参考了ORB-SLAM和Vins-Mono实现了动态的关键帧选择方法。

不过这里说分成了tracking keyframe和mapping keyframe。

GS Mapping

Scale Aligning

这里提到了传感器和场景的距离不同,就算是拿到了深度图,点云的间距也是不一样的,稀疏程度不同。这种情况会导致K近邻计算的协方差尺度也变大。因此论文做了一个尺度归一化的处理。

Additional Keyframe Selection for Mapping

提到了跟踪期间增加关键帧数量容易导致累积误差。为了缓解这个问题,就实现了这个方法,添加mapping only keyframe。tracking继续从现有跟踪过程中的选定关键帧进行,而mapping利用原始关键帧和附加的仅映射关键帧。

新的问题,tracking keyframe的作用是什么???或者说以往SLAM的关键帧的作用是什么???

忘了。。。

Avoiding Local Minima while Mapping

这里提到了我也很认同的一个点,GS SLAM是实时运行的,通常是缺乏对场景的充分观察的。这种情况容易导致局部最优。

不过本文的解决方案比较简单,就是每次迭代训练从关键帧中随机选一个进行学习。。。

我觉得GS SLAM也存在稀疏视角重建的问题,这里可以好好探究一下怎么解决。

实验部分

从这里倒是可以看出,本文的方法在SSIM上不是很好,Point-SLAM和GS-SLAM在这部分表现是非常好的。

从这里,我有一个推测,因为TUM-RGBD的数据是存在噪声和运动模糊的,所以本文的方法在存在噪声和运动模糊的情况下,表现不好!!!

这里论文作者狡辩了一下,说“TUM数据集是用老式传感器捕获的,这会导致深度图像中的噪声和大量信息丢失。SplaTAM仅在深度损失明显的区域添加新的高斯函数来处理这些因素,而我们的方法利用了深度图像中的所有结构信息,专注于准确跟踪和快速系统,而不是处理这些因素。”

最后论文总结了一下自己的局限性:该方法仅依赖于三维结构的深度,实现了快速的系统速度。然而,在现实环境中,由于RGB-D传感器固有的深度噪声,重建地图的质量受到限制。由于系统速度已经非常快,因此可以预期,在嘈杂的现实环境中,通过牺牲一点速度来补偿具有相对鲁棒RGB信息的嘈杂深度图像,可以实现稳健的性能。


文章作者: Immortalqx
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Immortalqx !
评论
  目录