隐式神经表示

什么是隐式神经表示？

隐式神经表示（Implicit Neural Representations）是一种对各种信号进行参数化的新方法。

传统的信号表示通常是离散的——例如，图像是离散的像素网格，音频信号是离散的幅度样本，3D 形状通常被参数化为体素、点云或网格的网格。

而在真实世界中，我们看到的世界可以认为是连续的，或者近似连续的，因此可以考虑使用连续函数来表示信号的真实状态。隐式神经表示就将信号参数化为连续函数，该函数将信号的域（即，坐标。例如图像的像素坐标）映射到该坐标处的任何内容（对于图像就是[R,G,B]）。但是这些函数很难处理，我们无从得知连续函数的准确形式，因此有人提出用神经网络来逼近连续函数，这种表示方法被称为隐式神经表示“（Implicit Neural Representation，INR）。

隐式神经表示的优点？

首先，它们不再与空间分辨率耦合，例如，图像与像素数耦合。这是因为它们是连续函数！因此，对信号进行参数化所需的内存与空间分辨率无关，并且仅与底层信号的复杂性成比例。另一个推论是隐式表示具有“无限分辨率”——它们可以以任意空间分辨率进行采样。这对于许多应用程序非常有用，例如超分辨率，或在 3D 和更高维度的参数化信号中，其中内存需求随着空间分辨率快速增长。

此外，跨神经隐式表示的泛化相当于在函数空间上学习先验，通过学习神经网络权重的先验来实现——这通常被称为元学习（meta-learning），是两个非常活跃的研究的一个非常令人兴奋的交叉领域！另一个令人兴奋的交叉领域是在神经隐式表示和神经网络架构中的对称性研究——例如，创建一个 3D 旋转等变的神经网络架构会立即通过神经隐式表示生成旋转等变生成模型的可行路径。

隐式神经表示的另一个关键前景在于直接在这些表示空间中操作的算法。换言之，“卷积神经网络”与对隐式表示的图像进行操作的神经网络等效于什么？