機械人視覺研究的核心內容是：視覺定位與導航、路徑規劃、避障、多感測器融合。視覺定位技術有多種，包括單目視覺、雙目視覺、多目視覺、rgb-d等，後三種方法可以使影象具有深度資訊，這些視覺「眼睛」亦可以稱為vo--視覺里程計。vo在機械人乃至計算機視覺問題中，是乙個通過分析處理相關影象序列來確定機械人的位置和姿態的解決方案。
現今，隨著計算機影象處理技術的不斷進步以及感測器電子科學的飛速發展，使得越來越多的研究者採用攝像機作為全自主移動機械人的感知元器件，這主要是因為常見的超聲或紅外感測器感知資訊能力有限，魯棒性差，而視覺系統則可以彌補這些缺點。但是，現實世界是立體的、三維的，而投影在攝像頭感光器件（ccd/cmos）上的影象是二維的、平面的，因此，基於攝像機的視覺處理目標就是從感知到的二維影象中提取有關的三維世界資訊，用於機械人的定位與導航。
機械人視覺系統主要由軟體和硬體兩部分組成，硬體方面主要有：視覺感測器（組）、影象採集卡、計算機（主處理機）、機械人及其附屬的通訊和控制模組等；軟體方面主要包括：影象處理軟體和機械人控制軟體等。機械人視覺系統組成如圖1所示。
ccd/cmos感測器原理：
影象訊號一般是離散的二維訊號，一幅影象通常由512×512個畫素組成(當然有時也有256×256，或者1024×1024個畫素)，每個畫素有256級灰度，或者是3×8bits，rgb_16m種顏色，一幅影象就有256kb或者768kb(對於彩色)個資料。為了完成視覺處理的訊號取樣量化、編碼壓縮、預處理、分割、描述、識別和解釋，上述前幾項主要完成的數**算可歸納為：
常用於對比度增強、密度非線性較正、閾值處理、偽彩色處理等。每個畫素的輸入資料經過一定關係對映成畫素的輸出資料，例如對數變換可實現暗區對比度擴張。
二維卷積的運算常用於影象平滑、銳化、輪廓增強、空間濾波、標準模板匹配計算等。若用m×m卷積核矩陣對整幅影象進行卷積時，要得到每個畫素的輸出結果就需要作m2次乘法和(m2-1)次加法，由於影象畫素一般很多，即使用較小的卷積和，也需要進行大量的乘加運算和訪問儲存器。
常用二維正交變換有dft、fft、walsh、haar、dwt、dct和k-l變換等，常用於影象增強、復原、二維濾波、資料壓縮等。
常用於影象的放大縮小、旋轉、移動、配準、幾何校正和由攝影值重建影象等。
如計算密度直方圖分布、平均值和協方差矩陣等。在進行直方圖均衡器化、面積計算、分類和k-l變換時，常常要進行這些統計量計算。
簡單說來就是對機械人周邊的環境進行光學處理，先用攝像頭進行影象資訊採集，將採集的資訊進行壓縮，然後將它反饋到乙個由神經網路和統計學方法構成的學習子系統，再由學習子系統將採集到的影象資訊和機械人的實際位置聯絡起來，完成機械人的自主導航定位功能。
傳統攝像機標定主要有 faugeras 標定法、tscai 兩步法、直接線性變換方法、張正友平面標定法和 weng迭代法。自標定包括基於 kruppa 方程自標定法、分層逐步自標定法、基於絕對二次曲面的自標定法和 pollefeys 的模約束法。視覺標定有馬頌德的三正交平移法、李華的平面正交標定法和 hartley 旋轉求內引數標定法。
a.預處理：灰化、降噪、增強、濾波、二值化、邊緣檢測....
b.特徵提取：特徵空間到引數空間對映。演算法有hough、sift、surf。
c.影象分割：rgb-his。
d.影象描述識別
基於濾波器的定位演算法主要有kf、seif、pf、ekf、ukf等。也可以使用單目視覺和里程計融合的方法。以里程計讀數作為輔助資訊,利用三角法計算特徵點在當前機械人座標系中的座標位置,這裡的三維座標計算需要在延遲乙個時間步的基礎上進行。根據特徵點在當前攝像頭座標系中的三維座標以及它在地圖中的世界座標,來估計攝像頭在世界座標系中的位姿。這種降低了感測器成本,消除了里程計的累積誤差,使得定位的結果更加精確。此外,相對於立體視覺中攝像機間的標定,這種方法只需對攝像機內引數進行標定,提高了系統的效率。
簡單的演算法過程，可基於opencv進行簡單實現。
輸入
輸出
計算每一幀相機的位置+姿態
1. 獲得影象it,it+1
2. 對獲得影象進行畸變處理
3. 通過fast演算法對影象it進行特徵檢測，通過klt演算法跟蹤這些特徵到影象it+1中，如果跟蹤特徵有所丟失，特徵數小於某個閾值，則重新進行特徵檢測
4. 通過帶ransac的5點演算法來估計兩幅影象的本質矩陣
5. 通過計算的本質矩陣進行估計r,t
6. 對尺度資訊進行估計，最終確定旋轉矩陣和平移向量
在深度學習和人工智慧大行其道的今天，數字影象處理技術也搭上了順風車。主流的人工智慧架構tensorflow等，結合opencv強大的影象處理工具，可以衍生出非常多優異的演算法，在提公升處理效果的同時，處理速度和效率也大大提高。
基於tensorflow和opencv的計算機視覺演算法和實現將在opencv專題詳述。
機器視覺系統新趨勢 視覺引導機械人
目前機器視覺的主要應用在於質量檢測 尺寸測量 缺陷檢查 識別和定位，而機器視覺在機械人上的應用則主要在於引導定位。機械人視覺引導系統，由單目視覺向基於多個鏡頭的多目3d視覺引導系統發展。機器視覺3 1 jpg 隨著不同視覺系統和機械人控制器的湧現，使得通訊變得更容易整合。在過去，整合商不得不應對de...
機器視覺系統簡介和組成
機器視覺是乙個相當新興的研究領域。機器視覺發展到現在已有15年的歷史。機器視覺作為一種應用系統，其功能特點是隨著工業自動化的發展而逐漸完善和發展的。人們從20世紀50年代開始研究二維影象的統計模式識別，60年代開進行三維機器視覺的研究，70年代中，mit人工智慧實驗室正式開設機器視覺課程，80年代開...
詳細解讀機器視覺系統組成及工作原理
機器視覺系統組成 從機器視覺系統字面意思就可看出主要分為三部分 機器 視覺和系統。機器負責機械的運動和控制 視覺通過照明光源 工業鏡頭 工業相機 影象採集卡等來實現 系統主要是指軟體，也可理解為整套的機器視覺裝置。下面我們重點說下機器視覺系統中的五大模組 1.機器視覺光源 即照明光源 照明光源作為機...