论文阅读《Mini-Splatting: Representing Scenes with a Constrained Number of Gaussians》

Method

Densification

Blur Split

这个策略的目的是：解决高斯伪影。

论文提到了，基于梯度的分割和克隆策略可能会在颜色过渡平滑的区域中失败，这会导致相应的过大尺寸的高斯会在优化过程中保留。不过3DGS也会根据投影的2D高斯分布，对屏幕空间中尺寸过大的高斯进行剪枝，但是这种方法也解决不了重建不足的问题。

论文在这里说废话，这不是解决overlapping的问题才这么做的？

3DGS看起来只是没有着重去解决under-reconstruction的问题，就像论文分析的，基于梯度的分割和克隆策略在弱纹理的区域效果不好，没有分裂或克隆足够的高斯点，就导致了under-reconstruction的问题。

论文说他们记录了每个像素权重最大的高斯函数的索引$i_{max}(x)$，以及对这个像素实际影响最大的高斯函数的索引$i(x)$，并且观察到高斯伪影与$i_{max}(x)$更相关，这说明具有较大的”最大贡献面积“的高斯函数会导致under-reconstruction。

我也觉得，因为既然已经造成了影响，说明这个高斯的权重会比较大。

而伪影通常看起来不透明度都不是那么高（因为看着很模糊），有可能他们的不透明度很低，只是在深度排序里面比较靠前，导致alpha-blending中的权重就比较大了。

因此，基于这个观察，论文根据公式（2）识别导致模糊的高斯函数，并且在优化过程中对其进行分割，这样可以增强图像清晰度。

这部分的实验如下所示：

Depth Reinitialization

这部分做的没有意思，个人感觉比较牵强了。

大家渲染深度基本都是用高斯中心的深度来进行渲染的，但是论文作者认为这个会产生误导，导致深度点云存在伪影。因此他们计算了相机射线与头球的交点，以交点的中点作为高斯的深度。

好好看看3D高斯往2D高斯的投影，就会感觉，大家用的方法也没有问题。。。

不过只是感觉。

这里论文提到其实用高斯中心的深度页有相似的渲染质量。

所以其实论文效果好只是单纯的只用权重最大的高斯深度作为相似的深度了，他这个计算交点中点的方法，个人感觉没必要。。。

Simplification

这里没感觉到论文做了什么很突出的贡献，记录几个论文提到的观点：

通过给每个高斯分布分配一个预定义的重要性值，我们可以简单地修剪低重要性的高斯分布。虽然这种策略对于去除有限数量的高斯函数是有效的，但当剪枝比相对较大时，它可能导致渲染质量的崩溃。主要问题在于高斯重要性只反映了简化前的重要性。直接剪枝很容易破坏局部几何，这反过来又降低了进一步优化后的最终渲染质量。
与确定性剪枝相比，随机采样策略可以更好地保持整体几何形状。我们将高斯重要性纳入每个高斯的抽样概率，这种重要性加权采样策略具有更强的保持几何质量的能力，从而增强了最终的渲染结果

总结就是：根据重要性来剪枝不好，容易破坏局部的几何结构。最好的办法是结合高斯的权重进行随机采样剪枝。

放到SLAM里面那就是learnable-mask * weight

又是一个很方便实现而且比较有效的小技巧

learnable-mask太棒了！

Experiment

这篇论文做了很多有意思的实验，这里记录一下

剪枝和采样策略

论文提到减少高斯数最直接的方法是进行剪枝和采样，这里他们尝试了四种方法：(b) 计算每个高斯的重要性，重要性低的剪枝；(c) 随机采样；(d) 网格采样；(e) 密度保持采样。这些结果表明，在保持渲染质量的同时，解决高斯分布的低效和实现最小高斯表示需要进一步的努力。

论文也提到了，修剪策略可以将高斯数量大幅减少，比如(b)方法可以从610w降低到60w，但是PSNR会降低，而且仍然会存在overlapping和under-reconstruction的问题。

很显然啊，因为只是进行了修剪，而不是进行了更合理的density control。不管数量多寡，只要density是不合理的，就一定会存在overlapping和under-reconstruction。

从这个实验和作者的分析可以进一步的出一个结论：

首先，高斯的数量是可以通过简单的修剪或采样数量显著减少的，对PSNR等指标影响不大；

另外，重建的结果好坏，受高斯数量多寡的影响小，受density是否合理的影响大；

不影响其他指标的同时减少高斯的数量值得研究，而在这个基础上实现更合理的density分布更值得研究，减少高斯点数和更合理的density control是相辅相成的。

论文也是同时研究了Densification和Simplification

个人评价

论文做了很多实验，讲了自己观察到的很多问题，并且针对性的研究了Densification和Simplification策略。

不过其中个人觉得最创新的还是Densification中的Blur Split，而Depth Reinitialization就有点牵强了。另外，Simplification这里也提到了观察到的一个重要现象，即随机采样策略可以更好地保持整体几何形状，这个在Compact 3DGS一系列的工作中得到了验证。

后续的话可以借鉴这篇论文的思路，围绕：