『壹』 機器視覺中檢測零部件缺失採用哪些演算法
如果你的產品是一樣的，可以用模板匹配進行產品定位，在對固定區域做處理，比如說二值化、形態學處理把電容對應的特徵找到，沒找到就是缺失了。
需要打光效果配合，電容和電路板上其他的要能比較明顯區分開，這樣比較好處理。
『貳』 機器視覺定位是什麼和機器視覺檢測有什麼不同
視覺定位類項目通常結合機器人學，軸組運動學控制，常常使用仿射變換，幾何學，手眼標定等演算法，在數學原理層面要熟悉常用的矩陣轉換公式，幾何平面學公式等。追求的是高精度定位效果，通常定位抓取精度在0.01mm。應用場景包括2D定位，3D無序定位抓取等。需要對自動化設備，機器人學等十分了解。機器視覺檢測通常指的是目標檢測和缺陷檢測，在工業上，需要對CCD感測器得到的圖像做圖像處理找到某些缺陷，在演算法層方面需要掌握Blob分析，預處理演算法，邊緣提取等，偏重於圖像處理本身。在計算機視覺方向，視覺檢測還有目標檢測，通常用卷積神經網路實現對目標的檢測和分類，比如說現在的人臉識別，自動駕駛等。綜合以上，機器視覺定位更偏向於視覺演算法和自動化結合，視覺檢測更注重於圖像演算法本身。
『叄』 機器人抓取時怎麼定位的用什麼感測器來檢測
機器人家上了解到，機器人領域的視覺（Machine Vision）跟計算機領域（Computer Vision）的視覺有一些不同：機器視覺的目的是給機器人提供操作物體的信息。所以，機器視覺的研究大概有這幾塊：
物體識別（Object Recognition）：在圖像中檢測到物體類型等，這跟 CV 的研究有很大一部分交叉；
位姿估計（Pose Estimation）：計算出物體在攝像機坐標系下的位置和姿態，對於機器人而言，需要抓取東西，不僅要知道這是什麼，也需要知道它具體在哪裡；
相機標定（Camera Calibration）：因為上面做的只是計算了物體在相機坐標系下的坐標，我們還需要確定相機跟機器人的相對位置和姿態，這樣才可以將物體位姿轉換到機器人位姿。
當然，我這里主要是在物體抓取領域的機器視覺；SLAM 等其他領域的就先不講了。
由於視覺是機器人感知的一塊很重要內容，所以研究也非常多了，我就我了解的一些，按照由簡入繁的順序介紹吧：
0. 相機標定
這其實屬於比較成熟的領域。由於我們所有物體識別都只是計算物體在相機坐標系下的位姿，但是，機器人操作物體需要知道物體在機器人坐標系下的位姿。所以，我們先需要對相機的位姿進行標定。 內參標定就不說了，參照張正友的論文，或者各種標定工具箱； 外參標定的話，根據相機安裝位置，有兩種方式：
Eye to Hand：相機與機器人極坐標系固連，不隨機械臂運動而運動
Eye in Hand：相機固連在機械臂上，隨機械臂運動而運動 兩種方式的求解思路都類似，首先是眼在手外（Eye to Hand）
只需在機械臂末端固定一個棋盤格，在相機視野內運動幾個姿態。由於相機可以計算出棋盤格相對於相機坐標系的位姿 、機器人運動學正解可以計算出機器人底座到末端抓手之間的位姿變化 、而末端爪手與棋盤格的位姿相對固定不變。 這樣，我們就可以得到一個坐標系環
而對於眼在手上（Eye in Hand）的情況，也類似，在地上隨便放一個棋盤格（與機器人基座固連），然後讓機械臂帶著相機走幾個位姿，然後也可以形成一個 的坐標環。
1. 平面物體檢測
這是目前工業流水線上最常見的場景。目前來看，這一領域對視覺的要求是：快速、精確、穩定。所以，一般是採用最簡單的邊緣提取+邊緣匹配/形狀匹配的方法；而且，為了提高穩定性、一般會通過主要打光源、採用反差大的背景等手段，減少系統變數。
目前，很多智能相機（如 cognex）都直接內嵌了這些功能；而且，物體一般都是放置在一個平面上，相機只需計算物體的 三自由度位姿即可。 另外，這種應用場景一般都是用於處理一種特定工件，相當於只有位姿估計，而沒有物體識別。 當然，工業上追求穩定性無可厚非，但是隨著生產自動化的要求越來越高，以及服務類機器人的興起。對更復雜物體的完整位姿 估計也就成了機器視覺的研究熱點。
2. 有紋理的物體
機器人視覺領域是最早開始研究有紋理的物體的，如飲料瓶、零食盒等表面帶有豐富紋理的都屬於這一類。 當然，這些物體也還是可以用類似邊緣提取+模板匹配的方法。但是，實際機器人操作過程中，環境會更加復雜：光照條件不確定（光照）、物體距離相機距離不確定（尺度）、相機看物體的角度不確定（旋轉、仿射）、甚至是被其他物體遮擋（遮擋）。
幸好有一位叫做 Lowe 的大神，提出了一個叫做 SIFT （Scale-invariant feature transform）的超強局部特徵點： Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110. 具體原理可以看上面這篇被引用 4萬+ 的論文或各種博客，簡單地說，這個方法提取的特徵點只跟物體表面的某部分紋理有關，與光照變化、尺度變化、仿射變換、整個物體無關。 因此，利用 SIFT 特徵點，可以直接在相機圖像中尋找到與資料庫中相同的特徵點，這樣，就可以確定相機中的物體是什麼東西（物體識別）。
對於不會變形的物體，特徵點在物體坐標系下的位置是固定的。所以，我們在獲取若干點對之後，就可以直接求解出相機中物體與資料庫中物體之間的單應性矩陣。 如果我們用深度相機（如Kinect）或者雙目視覺方法，確定出每個特徵點的 3D 位置。那麼，直接求解這個 PnP 問題，就可以計算出物體在當前相機坐標系下的位姿。
↑ 這里就放一個實驗室之前畢業師兄的成果 當然，實際操作過程中還是有很多細節工作才可以讓它真正可用的，如：先利用點雲分割和歐氏距離去除背景的影響、選用特徵比較穩定的物體（有時候 SIFT 也會變化）、利用貝葉斯方法加速匹配等。 而且，除了 SIFT 之外，後來又出了一大堆類似的特徵點，如 SURF、ORB 等。
3. 無紋理的物體
好了，有問題的物體容易解決，那麼生活中或者工業里還有很多物體是沒有紋理的：
我們最容易想到的就是：是否有一種特徵點，可以描述物體形狀，同時具有跟 SIFT 相似的不變性？ 不幸的是，據我了解，目前沒有這種特徵點。 所以，之前一大類方法還是採用基於模板匹配的辦法，但是，對匹配的特徵進行了專門選擇（不只是邊緣等簡單特徵）。
簡單而言，這篇論文同時利用了彩色圖像的圖像梯度和深度圖像的表面法向作為特徵，與資料庫中的模板進行匹配。 由於資料庫中的模板是從一個物體的多個視角拍攝後生成的，所以這樣匹配得到的物體位姿只能算是初步估計，並不精確。 但是，只要有了這個初步估計的物體位姿，我們就可以直接採用 ICP 演算法（Iterative closest point）匹配物體模型與 3D 點雲，從而得到物體在相機坐標系下的精確位姿。
當然，這個演算法在具體實施過程中還是有很多細節的：如何建立模板、顏色梯度的表示等。另外，這種方法無法應對物體被遮擋的情況。（當然，通過降低匹配閾值，可以應對部分遮擋，但是會造成誤識別）。 針對部分遮擋的情況，我們實驗室的張博士去年對 LineMod 進行了改進，但由於論文尚未發表，所以就先不過多涉及了。
4. 深度學習
由於深度學習在計算機視覺領域得到了非常好的效果，我們做機器人的自然也會嘗試把 DL 用到機器人的物體識別中。
首先，對於物體識別，這個就可以照搬 DL 的研究成果了，各種 CNN 拿過來用就好了。有沒有將深度學習融入機器人領域的嘗試？有哪些難點？ - 知乎 這個回答中，我提到 2016 年的『亞馬遜抓取大賽』中，很多隊伍都採用了 DL 作為物體識別演算法。 然而， 在這個比賽中，雖然很多人採用 DL 進行物體識別，但在物體位姿估計方面都還是使用比較簡單、或者傳統的演算法。似乎並未廣泛採用 DL。 如 @周博磊 所說，一般是採用 semantic segmentation network 在彩色圖像上進行物體分割，之後，將分割出的部分點雲與物體 3D 模型進行 ICP 匹配。
當然，直接用神經網路做位姿估計的工作也是有的
它的方法大概是這樣：對於一個物體，取很多小塊 RGB-D 數據（只關心一個patch，用局部特徵可以應對遮擋）；每小塊有一個坐標（相對於物體坐標系）；然後，首先用一個自編碼器對數據進行降維；之後，用將降維後的特徵用於訓練Hough Forest。
5. 與任務/運動規劃結合
這部分也是比較有意思的研究內容，由於機器視覺的目的是給機器人操作物體提供信息，所以，並不限於相機中的物體識別與定位，往往需要跟機器人的其他模塊相結合。
我們讓機器人從冰箱中拿一瓶『雪碧』，但是這個 『雪碧』 被『美年達』擋住了。 我們人類的做法是這樣的：先把 『美年達』 移開，再去取 『雪碧』 。 所以，對於機器人來說，它需要先通過視覺確定雪碧在『美年達』後面，同時，還需要確定『美年達』這個東西是可以移開的，而不是冰箱門之類固定不可拿開的物體。 當然，將視覺跟機器人結合後，會引出其他很多好玩的新東西。由於不是我自己的研究方向，所以也就不再班門弄斧了。
『肆』 機器視覺演算法基本步驟
1、圖像數據解碼
2、圖像特徵提取
3、識別圖像中目標
『伍』 計算機視覺中，目前有哪些成熟的匹配定位演算法
計算機視覺既是工程領域，也是科學領域中的一個富有挑戰性重要研究領域。計算機視覺是一門綜合性的學科，它已經吸引了來自各個學科的研究者參加到對它的研究之中。其中包括計算機科學和工程、信號處理、物理學、應用數學和統計學，神經生理學和認知科學等。視覺是各個應用領域，如製造業、檢驗、文檔分析、醫療診斷，和軍事等領域中各種智能／自主系統中不可分割的一部分。由於它的重要性，一些先進國家，例如美國把對計算機視覺的研究列為對經濟和科學有廣泛影響的科學和工程中的重大基本問題，即所謂的重大挑戰（grandchallenge）。計算機視覺的挑戰是要為計算機和機器人開發具有與人類水平相當的視覺能力。機器視覺需要圖象信號，紋理和顏色建模，幾何處理和推理，以及物體建模。一個有能力的視覺系統應該把所有這些處理都緊密地集成在一起。[Neg91]作為一門學科，計算機視覺開始於60年代初，但在計算機視覺的基本研究中的許多重要進展是在80年代取得的。現在計算機視覺已成為一門不同於人工智慧、圖象處理、模式識別等相關領域的成熟學科。計算機視覺與人類視覺密切相關，對人類視覺有一個正確的認識將對計算機視覺的研究非常有益。為此我們將先介紹人類視覺。
『陸』 自動掃地機器人的定位方式有哪幾種
掃地機器人一般有五種定位方式
1、掃地機器人基於信標的定位
信標定位原指在航海或航空中利用無線電基站發出的無線電波實現定位與導航的技術。對機器人室內定位而言是指，機器人通過各種感測器接收或觀測環境中已知位置的信標，經過計算得出機器人與信標的相對位置，再代入已知的信標位置坐標，解出機器人的絕對坐標來實現定位。
2、掃地機器人環境地圖模型匹配定位
是機器人通過自身的各種感測器探測周圍環境，利用感知到的局部環境信息進行局部的地圖構造，並與其內部事先存儲的完整地圖進行匹配。通過匹配關系獲得自己在全局環境中的位置，從而確定自身的位置。該方法由於有嚴格的條件限制，只適於一些結構相對簡單的環境。
3、掃地機器人基於視覺的定位
科學研究統計表明，人類從外界獲得信息量約有75%來自視覺，視覺系統是機器人與人類感知環境最接近的探測方式。受益於模式識別、機器視覺的發展，基於視覺的機器人定位近年來成為研究熱點。
4、掃地機器人地圖匹配法定位
機器人通過自身的各種感測器探測周圍環境，利用感知到的局部環境信息進行局部的地圖構造，並與其內部事先存儲的完整地圖進行匹配。通過匹配關系獲得自己在全局環境中的位置。該方法受環境布局影響大，只適於一些結構相對簡單的環境。
5、掃地機器人圖像匹配法定位
機器人通過事先移動獲得環境中各特徵點的圖像信息，利用目標物體的幾何形狀模型，在目標上取3個以上的特徵點和探測到的圖像特徵點進行匹配。屬於指紋定位法的一種。
受元器件成本、性能及生產等因素的制約，航位推演算法仍然是目前採用最廣泛的定位方法，但通過演算法優化，引入多種定位技術的混合定位，可以減小其累積誤差帶來的負面影響。
『柒』 機器視覺系統的定位精度如何計算
視野/像素=精度（解析度）。30W相機解析度640*480 正常這樣算：用最長的邊除去監控面積最長的邊 即可，所以精度基本上是1mm，這個是理論值，如果你做測量或者表面劃傷檢測，肯定不準確，一個像素有可能無法凸顯特徵。
『捌』 簡述機器視覺識別定位的原理與工作過程，採用演算法包開發時調用哪些功能函數
只要定位到了問題,解決就不難。 我們看到由於阿里... 遺傳演算法需要注意的問題: 遺傳演算法在適應度函數選擇...私有屬性和方法
『玖』 機器視覺檢測主要是什麼原理
機器視覺的缺陷檢測原理是基於對人眼檢測的模擬，用簡單的歸納思維來進行識別。正如生活中醫生對病人進行診斷，就是一個典型的歸納分類的行為。從最古老的望聞問切，到現在的B超，CT等現代化設備儀器，沒有哪一個醫生能夠單純靠肉眼就能直接判斷病情，只能觀察病人表現出的症狀和各種化驗檢測數據來推斷病情，這個時候，醫生所使用的就是一種歸納分類的思路，病人的單一症狀的分類與復合症狀的精確分類。
機器視覺缺陷檢測系統採用C攝像設備將被檢測的目標轉換成圖像信號，傳送給專用的圖像處理系統，根據像素分布和亮度、顏色等信息，轉變成數字化信號，圖像處理系統對這些信號進行各種運算來抽取目標的分類特徵，如面積、數量、位置、長度，再根據預設的允許度和其他條件輸出結果，包括尺寸、角度、個數、合格 / 不合格、有 / 無等，實現自動識別功能。
由於有了圖像處理還有計算機等等自動化設備的幫忙，機器視覺其實是遠遠超過人類的極限的，所以它的優勢也十分明顯，包括高效率、高精度、高自動化，以及能夠很好適應比較差的環境。所以在一些不適合人工作業的危險的工作環境，或者是我們人類視覺很難滿足要求的場合，機器視覺是可以用來代替人工視覺的。在這種檢測、測量、識別和定位等功能上，機器視覺更是能夠更好地勝任。除了以上這些，它還能夠提高生產效率以及自動化的程度，實現信息集成，所以在工業領域應用很廣泛，是智能製造很重要的基礎。