Neural Implicit Representations in SLAM
神经隐式表征在SLAM中的应用探索
背景和基础知识介绍
经典场景表征
![](/images/meeting-5/image-20230715155411762.png)
点云:简单直观,但缺少点之间的拓扑关系。
体素:很适合用卷积神经网络处理,但是复杂度很高,为N的3次方。
网格:存起来很简单,有拓扑信息,但不适合实时在线的编辑,在SLAM中很少有用网格这种数据结构。
SDF:隐式表征。
神经隐式表征的早期工作
DeepSDF
![](/images/meeting-5/image-20230715160423239.png)
核心思想:直接用一个神经网络表示一个场景或者物体的SDF,输入坐标xyz,输出SDF的数值。
缺点:必须从三维的数据中训练,而NeRF可以从2D的观测数据中训练。当时的人们更关注给很好的三维数据,然后从中学习场景的表征,之后用于生成方面的工作。
DeepSDF很适合做物体级别的重建。为了用一个MLP表示很多类型的物体,DeepSDF提出了auto-decoder的方法。
Neural Radiance Field(NeRF)
![](/images/meeting-5/image-20230715161043828.png)
![](/images/meeting-5/image-20230715161248791.png)
基于NeRF的RGB-D SLAM
iMAP
Contributions
![](/images/meeting-5/image-20230715161737290.png)
从SLAM的角度来说,iMAP提出了一种新的范式,它直接用神经隐式表征来表示场景,把建图的过程定义为一个优化的问题,通过优化场景表征,使其最符合系统的2D观测,即图像和深度。
从NeRF的角度来说,iMAP第一次用增量式、在线的方法来训练NeRF。增量式的训练会遇到一些问题,特别是遗忘的问题,iMAP从关键帧选取和active sampling来尝试缓解这个问题。
Volume Rendering Pipeline
![](/images/meeting-5/image-20230715162309104.png)
Tracking and Mapping Losses
![](/images/meeting-5/image-20230715162356818.png)
System Overview
![](/images/meeting-5/image-20230715162414261.png)
KeyFrame Selection
![](/images/meeting-5/image-20230715162553506.png)
Image Active Sampling
![](/images/meeting-5/image-20230715162609710.png)
从重投影误差大的地方来选取,使得场景在优化的时候更关注它不能够很好解释的部分,可以缓解遗忘的问题。
NICE-SLAM
Contributions
![](/images/meeting-5/image-20230715165501941.png)
tiny MLPs
Scene Representation
![](/images/meeting-5/image-20230715170429824.png)
Co-SLAM
Motivation
System Overview
![](/images/meeting-5/image-20230715171958318.png)