雙目視覺識別與定位演算法

A. 雙目立體視覺系統為什麼設置左相機坐標系與世界坐標系重合

雙目立體視覺的研究一直是機器視覺中的熱點和難點。使用雙目立體視覺系統可以確定任意物體的三維輪廓，並且可以得到輪廓上任意點的三維坐標。因此雙目立體視覺系統可以應用在多個領域。現說明介紹如何基於HALCON實現雙目立體視覺系統，以及立體視覺的基本理論、方法和相關技術，為搭建雙目立體視覺系統和提高演算法效率。
雙目立體視覺是機器視覺的一種重要形式，它是基於視差原理並由多幅圖像獲取物體三維幾何信息的方法。雙目立體視覺系統一般由雙攝像機從不同角度同時獲得被測物的兩幅數字圖像，或由單攝像機在不同時刻從不同角度獲得被測物的兩幅數字圖像，並基於視差原理恢復出物體的三維幾何信息，重建物體三維輪廓及位置。雙目立體視覺系統在機器視覺領域有著廣泛的應用前景。
HALCON是在世界范圍內廣泛使用的機器視覺。它擁有滿足您各類機器視覺應用需求的完善的開發庫。HALCON也包含Blob分析、形態學、模式識別、測量、三維攝像機定標、雙目立體視覺等傑出的高級演算法。HALCON支持Linux和Windows，並且可以通過C、C++、C#、Visual Basic和Delphi語言訪問。另外HALCON與硬體無關，支持大多數圖像採集卡及帶有DirectShow和IEEE 1394驅動的採集設備，用戶可以利用其開放式結構快速開發圖像處理和機器視覺應用。

B. 雙目視覺感測器的原理是

雙目視覺實際上是基於兩路視頻的視差，就是左眼與右眼對於同一個目標所形成的圖像像素點的差異，像素點的差異通過基線，就是兩個攝像頭之間的間距關系。基線的距離，視差加上焦距，就可以換算出來你與我之間的距離，實際上就是一個三角關系。

C. 通過雙目攝像頭，通過對運動物體進行拍照的方式，能否精確計算出物體的三維空間速度，以及自旋角速度

第一、物體的三維空間速度需要根據物體在空間的三維坐標來計算，通過雙目視覺的方式來獲取被測對象的三維坐標進行計算，原理上是完全行得通的。精確度跟以下幾點有關：
1、圖像獲取幀率：每秒鍾獲取的圖像幀數越多，對被測物的位置描述就越精確；
2、運動速度較高，要想清晰的抓拍到，對相機的曝光方式和曝光時間要求較高，需要用比較好的硬體設備；
3、最終三維坐標的測量精度和雙目系統的標定精度、立體匹配演算法、相機解析度、基線距離等都有關系。
第二、自轉角速度測量。這個比較難，因為物體在空間中的轉動是隨機的，採用雙目視覺沒有辦法把球體表面的所有特徵點都獲取到。也就是說沒有辦法獲取到同一個點的序列三維坐標。
綜上，把被測對象簡化為一個點來計算其序列三維空間坐標只要硬體配置的好，還是可以解決的。但是檢測被測對象自身的信息還是比較難得。

D. 雙目視覺的匹配演算法是不是有好幾種具體是哪幾種

與普通的圖像模板匹配不同的是，立體匹配是通過在兩幅或多幅存在視點差異、幾何畸變、灰度畸變、雜訊干擾的圖像對之間進行的，不存在任何標准模板進行匹配。立體匹配方法一般包含以下三個問題:(1)基元的選擇，即選擇適當的圖像特徵如點、直線、相位等作為匹配基元;(2)匹配的准則，將關於物理世界的某些固有特徵表示為匹配所必須遵循的若干規則，使匹配結果能真實反映景物的本來面目;(3)演算法結構，通過利用適當的數學方法設計能正確匹配所選擇基元的穩定演算法。

根據匹配基元的不同，立體視覺匹配演算法目前主要分為三大類,即區域匹配、相位匹配和特徵匹配:

基於區域灰度的匹配演算法是把一幅圖像(基準圖)中某一點的灰度鄰域作為模板，在另一幅圖像(待匹配圖)中搜索具有相同(或相似)灰度值分布的對應點鄰域，從而實現兩幅圖像的匹配。這類演算法的性能取決於度量演算法及搜索策略的選擇。另外，也必須考慮匹配窗口大小、形式的選擇，大窗口對於景物中存在的遮擋或圖像不光滑的情況會更多的出現誤匹配，小窗口則不具有足夠的灰度變化信息，不同的窗口形式對匹配信息也會有不同的影響。因此應該合理選取匹配區域的大小和形式來達到較好的匹配結果。

相位匹配是近二十年發展起來的一種匹配演算法，相位作為匹配基元，即認為圖像對中的對應點局部相位是一致的。最常用的相位匹配演算法有相位相關法和相位差——頻率法，雖然該方法是一種性能穩定、具有較強的抗輻射抗透視畸變能力、簡單高效、能得到稠密視差圖的特徵匹配方法。但是，當局部結構存在的假設不成立時，相位匹配演算法因帶通輸出信號的幅度太低而失去有效性，也就是通常提到的相位奇點問題，在相位奇點附近，相位信息對位置和頻率的變化極為敏感，因此用這些像素所確定的相位差異來衡量匹配誤差將導致極不可靠的結果。此外，相位匹配演算法的收斂范圍與帶通濾波器的波長有關，通常要考慮相位卷繞，在用相位差進行視差計算時，由於所採用的相位只是原信號某一帶通條件下的相位，故視差估計只能限制在某一限定范圍之內，隨視差范圍的增大，其精確性會有所下降。

基於特徵的圖像匹配方法是目前最常用的方法之一，由於它能夠將對整個圖像進行的各種分析轉化為對圖像特徵(特徵點、特徵曲線等)的分析的優點，從而大大減小了圖像處理過程的計算量，對灰度變化、圖像變形、噪音污染以及景物遮擋等都有較好的適應能力。

基於特徵的匹配方法是為使匹配過程滿足一定的抗噪能力且減少歧義性問題而提出來的。與基於區域的匹配方法不同，基於特徵的匹配方法是有選擇地匹配能表示景物自身特性的特徵，通過更多地強調空間景物的結構信息來解決匹配歧義性問題。這類方法將匹配的搜索范圍限制在一系列稀疏的特徵上。利用特徵間的距離作為度量手段，具有最小距離的特徵對就是最相近的特徵對，也就是匹配對。特徵間的距離度量有最大最小距離、歐氏距離等。

特徵點匹配演算法嚴格意義上可以分成特徵提取、特徵匹配和消除不良匹配點三步。特徵匹配不直接依賴於灰度，具有較強的抗干擾性。該類方法首先從待匹配的圖像中提取特徵，用相似性度量和一些約束條件確定幾何變換，最後將該變換作用於待匹配圖像。匹配中常用的特徵基元有角點、邊緣、輪廓、直線、顏色、紋理等。同時，特徵匹配演算法也同樣地存在著一些不足，主要表現為:

(l)特徵在圖像中的稀疏性決定了特徵匹配只能得到稀疏的視差場，要獲得密集的視差場必須通過使用插值的過程，插值過程通常較為復雜。

(2)特徵的提取和定位的准確與否直接影響特徵匹配結果的精確度。

(3)由於其應用場合的局限性，特徵匹配往往適用於具有特徵信息顯著的環境中，在缺少顯著主導特徵環境中該方法有很大困難。

總之，特徵匹配基元包含了演算法編程上的靈活性以及令人滿意的統計特性。演算法的許多約束條件均能清楚地應用於數據結構，而數據結構的規則性使得特徵匹配非常適用於硬體設計。例如，基於線段的特徵匹配演算法將場景模型描繪成相互聯結的邊緣線段，而不是區域匹配中的平面模型，因此能很好地處理一些幾何畸變問題，對對比度和明顯的光照變化等相對穩定。特徵匹配由於不直接依賴於灰度，計算量小，比基於區域的匹配演算法速度快的多。且由於邊緣特徵往往出現在視差不連續的區域，特徵匹配較易處理立體視覺匹配中的視差不連續問題。

E. 雙目視覺測距原理

單目測距原理：

先通過圖像匹配進行目標識別（各種車型、行人、物體等），再通過目標在圖像中的大小去估算目標距離。這就要求在估算距離之前首先對目標進行准確識別，是汽車還是行人，是貨車、SUV還是小轎車。准確識別是准確估算距離的第一步。要做到這一點，就需要建立並不斷維護一個龐大的樣本特徵資料庫，保證這個資料庫包含待識別目標的全部特徵數據。比如在一些特殊地區，為了專門檢測大型動物，必須先行建立大型動物的資料庫；而對於另外某些區域存在一些非常規車型，也要先將這些車型的特徵數據加入到資料庫中。如果缺乏待識別目標的特徵數據，就會導致系統無法對這些車型、物體、障礙物進行識別，從而也就無法准確估算這些目標的距離。

單/雙目方案的優點與難點

從上面的介紹，單目系統的優勢在於成本較低，對計算資源的要求不高，系統結構相對簡單；缺點是：（1）需要不斷更新和維護一個龐大的樣本資料庫，才能保證系統達到較高的識別率；（2）無法對非標准障礙物進行判斷；（3）距離並非真正意義上的測量，准確度較低。

雙目檢測原理：

通過對兩幅圖像視差的計算，直接對前方景物（圖像所拍攝到的范圍）進行距離測量，而無需判斷前方出現的是什麼類型的障礙物。所以對於任何類型的障礙物，都能根據距離信息的變化，進行必要的預警或制動。雙目攝像頭的原理與人眼相似。人眼能夠感知物體的遠近，是由於兩隻眼睛對同一個物體呈現的圖像存在差異，也稱「視差」。物體距離越遠，視差越小；反之，視差越大。視差的大小對應著物體與眼睛之間距離的遠近，這也是3D電影能夠使人有立體層次感知的原因。

上圖中的人和椰子樹，人在前，椰子樹在後，最下方是雙目相機中的成像。其中，右側相機成像中人在樹的左側，左側相機成像中人在樹的右側，這是因為雙目的角度不一樣。再通過對比兩幅圖像就可以知道人眼觀察樹的時候視差小，而觀察人時視差大。因為樹的距離遠，人的距離近。這就是雙目三角測距的原理。雙目系統對目標物體距離感知是一種絕對的測量，而非估算。

理想雙目相機成像模型

根據三角形相似定律：

根據上述推導，要求得空間點P離相機的距離（深度）z，必須知道：
1、相機焦距f，左右相機基線b（可以通過先驗信息或者相機標定得到）。
2、視差 ：，即左相機像素點(xl, yl)和右相機中對應點(xr, yr)的關系，這是雙目視覺的核心問題。

重點來看一下視差（disparity），視差是同一個空間點在兩個相機成像中對應的x坐標的差值，它可以通過編碼成灰度圖來反映出距離的遠近，離鏡頭越近的灰度越亮；

極線約束

對於左圖中的一個像素點，如何確定該點在右圖中的位置？需要在整個圖像中地毯式搜索嗎？當然不用，此時需要用到極線約束。

如上圖所示。O1，O2是兩個相機，P是空間中的一個點，P和兩個相機中心點O1、O2形成了三維空間中的一個平面PO1O2，稱為極平面（Epipolar plane）。極平面和兩幅圖像相交於兩條直線，這兩條直線稱為極線(Epipolar line)。

P在相機O1中的成像點是P1，在相機O2中的成像點是P2，但是P的位置是未知的。我們的目標是：對於左圖的P1點，尋找它在右圖中的對應點P2，這樣就能確定P點的空間位置。

極線約束（Epipolar Constraint）是指當空間點在兩幅圖像上分別成像時，已知左圖投影點p1，那麼對應右圖投影點p2一定在相對於p1的極線上，這樣可以極大的縮小匹配范圍。即P2一定在對應極線上，所以只需要沿著極線搜索便可以找到P1的對應點P2。

F. 雙目ADAS系統比如中科凌志如何檢測車輛前面的障礙物

ADAS系統一般都是通過三大類：雷達（激光、紅外、毫米波等）
、單目視覺、雙目視覺的方式檢測前後方的障礙物。雷達的檢測效果精準，技術難度低，但是設備成本高，體積最大。單目視覺的技術最簡單，設備成本低，檢測效果也最差。雙目視覺的ADAS系統技術要求最高，成本適中，檢測效果最佳，雙目視覺最開始是應用在月球車上的。中科凌志的ADAS用的是雙目視覺模式。

G. 大疆雙目立體視覺定位精度能達到多少

參考下

H. 雙目定位的應用

雙目視覺圖像定位系統，雙目定位廣泛用於絲網印刷機械、貼合、切割、PS打孔機、PCB補線機、PCB打孔機、玻璃割片機、點膠機、SMT檢測、貼版機等工業精密對位、定位、零件確認、尺寸測量、工業顯微等CCD視覺對位、測量裝置等領域，主要應用,IC、晶元、電路板的位置識別定位、視覺圖像定位系統上。如：打孔機定位、綁定機定位、晶體管吸取定位、IC貼片機對位、機器坐標定位、機器手定位、方向辨別定位。