项目主页:https://zju3dv.github.io/cg-slam/
论文阅读《Efficient Dense RGB-D SLAM in a Consistent Uncertainty-aware 3D Gaussian Field》
本文介绍了一种基于高一致性和几何稳定性的新型三维高斯场的实时高斯溅射SLAM系统,即CG-SLAM。为此,我们首先对EWA(椭圆加权平均)溅射过程中相机姿态的导数进行了全面的数学分析[60],并为SLAM任务开发了一个专门的CUDA框架,有效地解耦了跟踪和映射组件。其次,为了减少固有的过拟合问题,我们提出了一个尺度正则化项,适当地鼓励高斯椭球近似高斯球体,以减少各向异性,并在跟踪精度和渲染真实感之间实现良好的权衡。同时,我们观察到单独使用alpha混合深度不能对高斯基元的位置施加有效的约束。因此,为了实现高质量的映射,我们进一步对齐中值深度和alpha混合深度,以鼓励高斯原语在场景表面上很好地分布,从而促进具有更集中几何密度的一致高斯场。此外,为了进一步提高系统的精度和效率,我们设计了一种新的深度不确定性模型,以指导我们基于高斯的SLAM关注那些稳定且信息丰富的深度不确定性。我们在各种RGB-D数据集上对我们的系统进行了评估,实验结果表明我们的CG-SLAM在跟踪精度、重建质量和运行效率方面具有优越的性能。
Method
Preliminary
基本都是3DGS的内容
3DGS中3D投影到2D用的是02年的一篇文章,EWA splatting,本文分析了这个EWA splatting,推导了位姿的导数。
Uncertainty Modeling
参考UncLe-SLAM实现了Uncertainty Modeling
Sandström, E., Ta, K., Van Gool, L., Oswald, M.R.: Uncle-slam: Uncertainty learning for dense neural slam. arXiv preprint arXiv:2306.11048 (2023)
这部分看起来就是希望不确定性尽量小,然后对深度影响最大的高斯尽可能的居中。
Mapping
稀松平常的内容
Tracking
稀松平常的内容
提到了一个Sliding Bundle Adjustment,希望通过这个减小累积误差。
这里的sliding window没有用基于视锥的方法,而是用NetVLAD预训练模型去处理。
疑惑:
这里tracking的内容写的好少,不知道这个导数什么的是怎么弄的啊。。。补充材料没有找到居然。。。
又去找了一下,没找到,那只能等了。。。这篇文章虽然是章国峰组的,但是其实也没看到很突出的地方。。。