CS231A Lecture 7:Multi-view geometry (1)
Reading:
[HZ] Chapter 10 “3D reconstruction of cameras and structure”
[HZ] Chapter 18 “N-view computational methods”
[HZ] Chapter 19 “Auto-calibration”
[FP] Chapter 13 “projective structure from motion”
[Szelisky] Chapter 7 “Structure from motion”
The SFM problem
Affine SFM
Affine structure from motion(simpler problem)
Perspective vs Affine
Affine cameras
The Affine Structure-from-Motion Problem
思考:
这里乍一看是只知道$x_{ij}$,要求等式右边的三个未知量,看起来解不出来。
不过把这里的对应关系理清楚就可以理解了,$x_{ij}$是$X_j$在第$i$张图上的投影,而$A_i$和$b_i$是构成对应第$i$张图的投影矩阵$M_i$。
并且,这里每一个$x_{ij}$能提供2个等式,即$\begin{cases} &m_1X_j = x_{ij}[0] \\ &m_2X_j=x_{ij}[1] \end{cases}$,总共可以有$2m\times n$个等式;
而$M_i$有8个未知量,而$X_j$有3个未知量,总共要求解的未知量数目为$8m+3n-8$个。
因此,这个等式在一定情况下是可以求解的。
疑问
Q:为什么未知量的数目是$8m+3n-8$呢?这个$-8$是如何来的?
A:我认为这里应该是有一帧图像的投影矩阵是已知的,比如假定第一帧图象是在世界坐标系原点拍摄的,或者假定已知世界坐标系与相机坐标系在某一帧下的关系,就可以得到这帧的投影矩阵;不然的话,可能找不出一个合适的初始值来求解这个方程组,或者可能这个方程组有无穷个解,而我们需要的只是一个有现实意义(比如指定了世界坐标系)的解。
A factorization method –Tomasi & Kanade algorithm
C. Tomasi and T. KanadeShape and motion from image streams under orthography: A factorization
method. IJCV, 9(2):137-154, November 1992.
Data centering
Centering: subtract the centroid of the image points
Thus, after centering, each normalized observed point is related to the 3D point by
If the centroid of points in 3D = center of the world reference system
思考:
这里的几何意义应该是,本来这一组$X_j$投影到图像$i$中,还需要平移$b_i$才能够与图中的$x_{ij}$对应上;而normalize之后,平移量$b_i$就被抵消了。
Factorization
复习:线性代数
Factorizing the Measurement Matrix
疑问
Q:什么是奇异值分解?
A:见奇异值分解-维基百科和奇异值分解(SVD)原理与在降维中的应用。
Q:这里的$W_3$指的是$W$中前3个奇异值吗?$W$中的奇异值是按照大小排序的吗?
A:从网上查到的结果是可以随意排列,奇异值与奇异向量对应上就行;不过常见的做法是将奇异值由大而小排列,如此$W$便能由$D$唯一确定了(但是$U$和$V$仍然不能确定)。这里$W$的奇异值应该是按大小排序的,$W_3$就是前3个奇异值,也是最大的3个奇异值(上面也说了$D$的秩为3,只应该存在3个非零奇异值,更小的奇异值可能就是噪声了,近似的效果也不好)。
Q:关于SVD分解的唯一性讨论
A:该部分参考网址:对SVD唯一性的理解
回顾SVD分解的定义:
对于任何一个$m \times n$的矩阵$A$,都存在这样一个分解
$$
A=U\Sigma V^T
$$
其中$U$是$m \times m$的酉矩阵,也就是$UU^* = I$;$V$是一个$n \times n$的酉矩阵;$\Sigma$是一个$m \times n$的矩阵,非对角上的元素都是0,对角线上的元素都是非负的实数,不管$A$是实数矩阵,还是酉空间中的矩阵,或者说有虚数元素。
先讨论$\Sigma$的唯一性:
假设有一个置换矩阵$J$(左乘它是做行交换,右乘它是做列交换,而且$JJ^T=I$,$J_m$表示矩阵大小为$m \times m$),那么仍然有下面的式子成立:
$$
A=(UJ_m)(J_m\Sigma J_n)(VJ_n)^T
$$
这说明,SVD分解是不唯一的。但是注意到$\Sigma$是对角矩阵,对角线上的元素(奇异值)是由矩阵$A$唯一确定的,上面的变换仅仅是将它对角线上的元素进行了一个重新的排列,我们可以固定$\Sigma$中元素的排列(比如从大到小排序),这样就可以唯一确定$\Sigma$矩阵。
再讨论$\Sigma$确定时,$U$与$V$的唯一性:
假设有一个对角方阵$K$(对角线上元素具有$e^{i\phi}$的形式,且$\phi$互不相同,$KK^*=I$,$K_m$表示矩阵大小为$m \times m$),那么仍然有下面的式子成立:
$$
A = U K_m K_m^* \Sigma K_n ( V K_n^* )^T
$$
当$K_m$对角线上第$i$个元素和$K_n$对角线上第$i$个元素相同时,有$K_m^*\Sigma K_n = \Sigma$
这说明,在$\Sigma$确定时,SVD分解得到的$U$与$V$也不是唯一的。
Affine Ambiguity
我们在上面把Affine SFM问题描述成$D=MS$,其中$D$是$2m \times n$个二维点$x_{ij}$构成的矩阵,$M$是$m$张图像的$A_i$矩阵构成的矩阵,而$S$则是$n$个三维点$X_j$构成的矩阵。
通过对矩阵$D$做SVD分解,我们可以得到$\begin{cases} &M &\approx U_3 \\ &S &\approx W_3V_3^T \end{cases}$
但分解的结果不是唯一的,如下所示。
疑问
Q:这部分说的“分解的结果不唯一”指的是SVD分解结果不唯一,还是指对$M$与$S$进行一些变换可以得到同样的结果?
A:我觉得是后一种,指的是可能SVD分解的结果和实际的情况差了一个仿射变换。