CS231A Lecture 4:Single View Metrology


CS231A Lecture 4:Single View Metrology

Reading:

[HZ] Chapter 2 “Projective Geometry and Transformation in 2D”

[HZ] Chapter 3 “Projective Geometry and Transformation in 3D”

[HZ] Chapter 8 “More Single View Geometry”

[Hoeim & Savarese] Chapter 2

2D transformations

这部分介绍了四种2D变换:Isometries、Similarities、Affinity、Projective

Isometries

等距变换(Isometries),旋转+平移。

Similarities

相似变换(Similarities),相当于是等距变换与均匀缩放的结合。

Affinity

仿射变换(Affine),是一个平移变换与一个非奇异线性变换的结合。

其中的A矩阵可以理解成旋转与非均匀缩放的结合。

Projective

射影变换(Projective),是齐次坐标的一般非奇异线性变换,扩展了仿射变换,是非齐次坐标的一般非奇异线性变换和一个平移的复合。

定义:由有限次中心射影的积定义的两条直线间的一一对应变换称为一维射影变换。由有限次中心射影的积定义的两个平面之间的一一对应变换称为二维射影变换。

性质:交比不变性

如果平面上点场的点建立了一个一一对应,并且满足:

(1)任何共线三点的象仍是共线三点;

(2)共线四点的交比不变。

则这个一一对应叫做点场的射影变换,简称射影变换。

The cross ratio:

与其他变换的关系:

  • $H$矩阵是可逆实矩阵,当$v$等于0则变成了仿射变换;在仿射变换的前提下,左上角的$2 \times 2$矩阵正交时为相似变换;左上角矩阵行列式为1时为等距变换。

  • 射影变换可以分解成一串交换链的复合。
    $$
    H = H_{S}H_{A}H_{P} =
    \begin{bmatrix} sR&t \\ 0^{T} & 1 \end{bmatrix}
    \begin{bmatrix} K&0 \\ 0^{T} & 1 \end{bmatrix}
    \begin{bmatrix} I&0 \\ V^{T} & v \end{bmatrix} =
    \begin{bmatrix} A & Vt\\ V^{T} & v \end{bmatrix}
    $$
    可以看出上式中,$H_S$表示相似变换,$H_A$表示仿射变换,$H_P$表示射影变换。

Questions

Q:射影变换与仿射变换的根本区别在于射影变换中向量$v$不为0,如何理解?

A:对于理想点$(x_{1},x_{2},0)^{T}$在仿射变换与射影变换下面的映射:

  • 在仿射变换下:
    $$
    \begin{bmatrix} A &t \\ 0^{T} & 1 \end{bmatrix}
    \begin{pmatrix} x_{1}\\ x_{2}\\ 0 \end{pmatrix} =
    \begin{pmatrix} A\begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix} \\ 0 \end{pmatrix}
    $$

  • 在射影变换下:
    $$
    \begin{bmatrix} A &t \\ V^{T} & v \end{bmatrix}
    \begin{pmatrix} x_{1}\\ x_{2}\\ 0 \end{pmatrix} =
    \begin{pmatrix} A\begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix} \\ v_{1}x_{1}+v_{2}x_{2}
    \end{pmatrix}
    $$

可以看出,对于仿射变换,理想点变换后还是理想点;对于射影变换,理想点被映射到有限点。说明射影变换能对消影点建模

Vanishing points and lines

Lines in a 2D plane

Intersecting lines

2D Points at infinity (ideal points)

Lines infinity $l_\infty$

Projective transformation

这部分和2D transformations-Questions是对应的。

a point at infinity
a line (in 2D)

Points and planes in 3D

3D空间中的点与平面:

3D空间中的直线:

Points at infinity in 3D

Vanishing points

Vanishing points and directions

Vanishing (horizon) line

Example: Are these two lines parallel or not?

Vanishing points and planes

Furthermore, the horizon line allows us to compute useful properties about the world. For example, we can derive an interesting relationship between the the normal n of a plane in 3D with the corresponding horizon line $l_{horiz}$ in an image:

This means that if we can recognize the horizon line associated with a plane, and if our camera is calibrated, then we can estimate the orientation of that plane.

Planes at infinity

Angle between 2 vanishing points

Properties of $\omega$

Summary

Questions

Q:为什么无穷远处的线$l_\infty=\begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}$

A:有穷点显然不在$l_\infty$上,因此$\begin{bmatrix} x \\ y \\ 1 \end{bmatrix} l_\infty \neq 0$;无穷点显然应该在$l_\infty$上,因此$\begin{bmatrix} x \\ y \\ 0 \end{bmatrix} l_\infty = 0$。

Q:为什么3D中两条平行直线的交点与直线的方向向量是相同的

A:TODO(不过把两条直线的一般方程摆出来,确实就应该是直线的方向向量才满足条件)

Estimating geometry from a single image

Single view calibration - example

Single view reconstruction - example

Single view reconstruction - drawbacks


文章作者: Immortalqx
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Immortalqx !
评论
  目录