Fundamental Matrix 的更多細節

本文為 Multiple View Geometry 第九章 Epipolar Geometry and the Fundamental Matrix 的筆記，介紹了更多 fundamental matrix 的細節，包含幾何與代數推導 fundamental matrix，以及其他的性質。

Fundamental matrix 的推導

幾何推導

假設三維空間中存在一個平面 \(\pi\)，並假設其不經過兩個相機的中心，此平面上的點 X 經過投影後分別得到兩張二維圖片上的點 x 與 x'，此關係可以用一個 homography 矩陣來描述：\[x' = H_{\pi}x\]Fundamental matrix F 描述的是 x 與其對應的 epipolar line l' 的變化關係，也就是說將 epipole e' 與 x' 叉積以後即可得到此 epipolar line：\[l' = [e']_{\times}H_{\pi}x\]Fundamental matrix F 即為 \([e']_{\times}H_{\pi}\)。

代數推導

將 x 做 back-projection 會得到一條直線，寫成 \(X(\lambda)=P^{+}x + \lambda C\)，其中 \(P^{+}\) 為 P 的 pseudo-inverse。將這條線上的 C 與 \(P^{+}x\) 分別用 P' 投影會得到 epipole e' 與 x'，若將兩個點叉積起來會得到：\[l'=(P'C) \times (P'P^{+}x) = [e']_{\times}P'P^{+}x\]因此 F 即為 \( [e']_{\times}P'P^{+}\)。

其他 fundamental matrix 的性質

• 由於 x' 在 epipolar line l' 上，因此可以推得 epipolar constraint 的公式：\[x'^TFx=0\]
• Fundamental matrix 與 epipole e 的關係：\(Fe=0; F^T e'=0\)。
• Fundamental matrix 有七個自由度，有好幾種解釋方法：
• 3*3 矩陣，扣掉一個 scale 維度，以及行列式為零。
  
• 兩個 epipole 各有兩個自由度，而對應的 homography 矩陣有三個自由度。
• 兩個相機矩陣會決定一個 fundamental matrix，但另一個方向並沒有此對應關係，因此我們通常用 canonical form 來表示從 fundamental matrix 得到的相機矩陣。
• Fundamental matrix 表示了兩個相機的投影關係，兩個相機矩陣分別有十一個自由度，而表示一個 projective world frame 需要十五個自由度，因此也可以推出 fundamental matrix 有七個自由度。 
• Essential matrix 儘管也存在 ambiguity，但是可能的解只有四個，也就是說給定一個 essential matrix，真正的相機矩陣一定是四個解中的其中之一。