『壹』 D3群在三維實空間中的矩陣表示是怎麼算的
MVS是一種從具有一定重疊度的多視圖視角中恢復場景的稠密結構的技術，傳統方法利用幾何、光學一致性構造匹配代價，進行匹配代價累積，再估計深度值。雖然傳統方法有較高的深度估計精度，但由於存在缺少紋理或者光照條件劇烈變化的場景中的錯誤匹配，傳統方法的深度估計完整度還有很大的提升空間。近年來卷積神經網路已經成功被應用在特徵匹配上，提升了立體匹配的精度。在這樣的背景下，香港科技大學Yaoyao等人，在2018年提出了一種基於深度學習的端到端深度估計框架——MVSNet。
多視圖立體匹配（Multi-view Stereo， MVS）是計算機領域中一個核心問題。重建多視圖立體匹配，可以認為是拍攝既定場景的一個逆過程。相機映射下，三維場景變換為二維，而多視圖立體匹配重建正好相反，其從這樣子。不同視點拍攝圖像，恢復出真實的三維場景。
傳統的方法使用手工設計的相似性度量指標和正則化方法計算場景的稠密對應關系（比如使用歸一化互相關Normalized Cross-Correlation和半全局匹配semi-global matching）。這些方法在非朗伯體表面、無弱紋理區域的場景可以達到很好的效果。但是在弱紋理區域，人工設計的相似性指標變得不可信，因此導致重建結果不完整。由MVS數據集的排行榜可知，這些方法具有很高的精度，然而在重建的完整度方法還有很大的空間可以提升。
卷積神經網路的研究的最新進展引發了人們完善立體匹配重建熱情。從概念看，基於學習演算法能夠捕獲全局的語義信息，比如基於高光和反射的先驗條件，便於得到更加穩健的匹配。目前已經探求一些兩視圖立體匹配，用神經網路替換手工設計的相似性度量或正則化方法。這些方法展現出更好的結果，並且逐步超過立體匹配領域的傳統方法。事實上，立體匹配任務完全適合使用CNN，因為圖像對是已經過修正過的，因此立體匹配問題轉化為水平方向上逐像素的視差估計。
與雙目立體匹配不同的是，MVS的輸入是任意數目的視圖，這是深度學習方法需要解決的一個棘手的問題。而且只有很少的工作意識到該問題，比如SurfaceNet事先重建彩色體素立方體，將所有像素的顏色信息和相機參數構成一個3D代價體，所構成的3D代價體即為網路的輸入。然而受限於3D代價體巨大的內存消耗，SurfaceNet網路的規模很難增大：SurfaceNet運用了一個啟發式的「分而治之」的策略，對於大規模重建場景則需要花費很長的時間。