在人工智慧時代，新標準和新技術正在快速發展。隨著人口老齡化以及工業發展的需求，人們逐漸依靠機器來完成更多的任務。機器視覺就是在這種情況下誕生。同樣在物流分揀領域，人工已經不能滿足工業發展的要求，將機器視覺技術應用在物流分揀任務中是當下發展的大趨勢。不同環境下的目標三維位姿解算是基於視覺物流分揀的核心問題。本文借助四軸高精度機械臂，將雙目視覺技術融合到物流分揀領域中，達到分揀作業中對目標顏色分揀的目的。
首先是雙目相機標定與影象預處理。包括對雙目相機進行內外引數的求解，建立左相機與機械臂之間關係，以及提取特徵點。實驗中將不同顏色的工件作為待檢測目標。通過一系列的預處理如顏色空間轉換、閾值分割、邊界提取以及直線擬合等將目標工件提取出來。具體是利用顏色識別粗略定位出工件在影象中的區域範圍，將這一-區域範圍作為感興趣區域進行掩膜處理，之後針對感興趣區域，提取出工件輪廓，並確定目標工件的中心位置。
然後對特徵點進行匹配與目標三維座標計算。包括對左右兩幅影象中的點特徵進行匹配，通過實驗資料驗證匹配點的準確性。並利用平行光軸測距原理對匹配點進行三維座標恢復，在此基礎上推導非平行光軸的三維解算方程，優化三維座標點精確度。通過座標轉換，將其轉換到機械臂座標系下並引導機槭臂實施分揀工作。
最後搭建雙目視覺機械臂物流分揀系統並進行分揀實驗。根據分揀要求選擇機械臂和雙目相機，設計基於python的分揀系統，通過實驗驗證分揀系統的可行性，並分析系統誤差。
第一章 緒論
1.1 課題研究背景及意義
1.2 國內外研究現狀
1.3 **的主要研究內容與工作安排
第二章 雙目視覺成像理論與標定
2.1 攝像機成像模型
2.1.1 小孔成像原理.
2.1.2 攝像機的線性模型
2.1.3 攝像機的非線性模型
2.2 攝像機的標定
2.2.1 張氏相機標定法
2.2.2 雙目像機標定實驗.
2.3 本章小結
第三章 靜態目標的特徵提取
3.1 目標影象的預處理.
3.1.1 顏色空間選取....
3.1.2 掩模
3.1.3 閾值分割方法
3.1.4 形態學變換
3.2 目標工件的邊界提取
3.2.1 sobel邊界提取演算法
3.2.2 prewitt邊界提取演算法
3.2.3 laplace邊界提取演算法
3.2.4 canny邊界提取演算法
3.3 目標工件邊界直線特徵提取
3.3.1 霍夫變換
3.3.2 直線擬合
3.4 目標工件的特徵點提取
3.4.1 harris特徵提取演算法
3.4.2 surf特徵提取演算法
3.4.3 特徵點提取檢測結果
3.5 本章小結
第四章 特徵點的匹配與三維位姿解算
4.1 目標工件特徵點匹配
4.1.1匹配的約束準則
4.1.2目標形心匹配試驗
4.2 目標工件三維位姿解算
4.2.1 平行光軸雙目視覺原理
4.2.2 非平行光軸雙目視覺原理
4.2.3 三維座標計算結果
4.3 座標系轉換
4.4 本章小結
第五章 雙目視覺機械臂物流分揀系統設計及分揀實驗
5.1 物流分揀系統設計
5.1.1 硬體系統設計
5.1.2 軟體系統設計
5.2 物流分揀的實驗過程
5.3 本章小結
結論參考文獻
致謝本文著重研究了雙目視覺技術在物流分揀領域的應用，通過雙目視覺技術獲得物體的三維資訊，並將三維座標傳輸到機械臂，從而引導機械臂進行物流分揀工作。本文工作主要有相機成像理論與標定實驗，靜態目標的特徵點提取，特徵點的匹配與三維位姿解算，雙目視覺物流分揀系統設計及分揀實驗。第一章為緒論。介紹視覺技術的發展，並對雙目視覺技術在物流分揀領域的結合做了簡述。
然後詳細的闡述了當前在視覺檢測領域國內外的研究現狀與方法。
最終確定將雙目視覺技術應用到物流分揀技術當中，並結合機械臂實時引導並完成分揀工作。第二章為視覺理論介紹與標定實驗。首先介紹小孔成像，分別介
紹理想和非理想情況的兩種相機模型，並分別給出相應的矩陣表示式。
然後介紹標定的原理，詳細介紹張正友的棋盤標定法。結合該**採用的雙目相機進行標定實驗，並分析實驗資料。第三章是影象特徵點提取。主要介紹靜態目標的影象處理和特徵點提取的方法，闡述影象預處理的幾種方法，並對實驗採集到的資料進行影象預處理；接著介紹幾種邊界提取的演算法，通過分析比較，最終選擇canny演算法。然後介紹hough變換的原理，並對目標工件直線擬合。最後介紹角點提取演算法，並最終選擇harris演算法。第四章為特徵點匹配與三維座標求解。首先介紹特徵匹配的約束準則，並通過實驗驗證了匹配的準確性。
然後分析本實驗平行光軸雙目相機的三維解算原理，並針對實際情況推導非平行光軸三維座標求解公式。
然後通過座標轉換，將其轉換到機械臂座標系下並引導機械臂實施分揀工作。第五章為整體方案設計及分揀實驗。首先是系統的設計思路，詳細分析完成該任務所需的硬體功能和軟體功能。
然後根據工況要求選擇合適的機械臂和雙目相機。對軟體部分的功能需求、工作流程以及功能模組進行分析和介紹。
最後設計物流分揀的實驗過程，驗證實驗方案的可行性，並分析系統存在誤差的原因。
本文主要針對物流分揀領域，首先對雙目立體視覺技術與物流分揀相結合進行了研究，提出了一-種雙目視覺機械臂物流分揀系統，針對本次實驗的目標工件，編寫了相關演算法對目標工件影象進行一系列處理獲得目標形心座標，然後根據雙目測距原理求解出目標工件的位置。最後設計分揀實驗，驗證了該系統的可行性。目前的成果有以下幾點：
(1) 介紹了當前機器視覺技術的發展背景，引出了當下機器視覺研究的意義，並對雙目視覺技術在物流分揀領域的結合做了簡述，接著詳細闡述了當前領域國內外的研究現狀與方法，以及目前該技術存在的一些瓶頸與可繼續研究的原因。最終確定了一種將雙目視覺技術應用到物流分揀技術當中，並結合機械臂實時引導並完成物流分揀工作的設計方案。
(2)介紹了雙目成像的原理與標定實驗。首先由小孔模型引出相機成像的理想模型，並推導了相機模型中各個座標系以及相互關係，接著對相機成像模型分成線性模型和非線性模型分別介紹，並引出畸變現象，以及消除畸變的數學模型，隨後利用棋盤標定原理結合matlab2015 對雙目相機進行前期實驗。從而獲取了雙目相機的內外引數，為後續的目標特徵點的提取與三維座標點的解算提供必要的資料。
(3)為了滿足物流分揀測量任務的要求，對物流分揀系統中的影象預處理與特徵點提取做了詳細的介紹。針對影象預處理方法，主要對雙目採集到的影象進行了顏色空間轉換，建立掩膜和閾值分割以及形態學處理。然後根據實驗情況採用了canny演算法的邊界提取演算法。接著對目標工件的進行了邊界直線特徵提取，並對工件的邊緣進行了直線擬合，最後對處理後的影象進行了特徵點的提取。
(4)介紹 了在進行匹配之前，需要遵循的幾項準則，接著通過對兩幅影象去畸變和校正，並針對紅色木塊對匹配結果進行記錄與分析。然後根據雙目視覺成像模型，對理想情況下的雙目視覺測量原理進行闡述，在此基礎上推導出雙目視覺求解三維座標的方法，並進一步推導非平行光軸的三維求解公式，然後通過座標轉換，達到機械臂分揀的目的。
(5)搭建 了雙目視覺機械臂物流分揀系統的硬體和軟體。詳細闡述了分揀系統的各個結構說明。重點研究了分揀的實驗流程。詳細分析了完成該任務所需的硬體功能和軟體功能。介紹了dobot機械臂的特點與座標系，並分析了該機械臂能完成分揀實驗的必要條件；然後根據工況要求選擇合適的雙目相機，並分析了相應的引數。軟體部分是為了配合硬體完成相應的功能，對軟體部分的功能需求、工作流程以及功能模組進行了分析和介紹；最後設計物流分揀實驗，驗證了實驗方案的可行性，並分析該系統誤差的原因。
本文所做的研究主要應用在物流分揀系統中，儘管已經成功編寫了雙目視覺機械臂物流分揀的相關演算法，完成了對物流分揀系統硬體的設計，並通過實驗對方案設計的可行性進行了驗證，但是該系統仍存在一一些不足之處，改進的方向主要有以下幾點。
(1) 提高標定板的精度，由於本次實驗使用的標定板是普通列印出來的，所以在進行雙目相機標定實驗的時候，由於拍攝環境以及攝像機的效能影響，拍攝出來的不是很理想，導致標定實驗的結果不理想；另外攝像機的硬體需要選擇更穩定，對雜訊影響小，使得採集到的影象質量更高。
(2)優化影象處理的演算法。在今後的深入研究工作中，應多方面考慮作業現場環境的不確定性與複雜性，優化系統的影象處理演算法確保能夠準確的提取目標工件的形心座標。
(3) 本文所做的工作屬於實驗室研究，所有實驗條件都是在盡量降低干擾情況下進行的。為方便於實際應用，必須將各種于擾因素考慮到；另一方面為了提高系統的實時性，機械臂各軸的運動響應速度也有關係。
畢業院校：大連交通大學
學生姓名：楊亞飛
校內導師及職稱：李榮華 副教授
企業導師及職稱：陸和平 高階工程師
工程領域：機械工程
研究方向：機器視覺
**型別：應用研究
申請學位：工程碩士
**答辯日期：2023年6月15日
【楊亞飛】
本人主要從事機器視覺相關產品及應用推廣，產品包括
dlp光機、雙目結構光3d相機、工業相機、讀碼相機、深度學習軟體
等；所涉及的應用包括
3d檢測、3d掃瞄、物流分揀、拆垛碼垛、人臉識別、機器引導、機器學習、3d aoi、3d spi
機械臂5 機械臂連桿及連桿鏈
操作臂可以看出由一系列剛體通過關節連線而成的乙個運動鏈，我們將這些剛體稱為連桿。通過關節將兩個相鄰的連桿連線起來。當兩個剛體之間的相對運動是兩個平面之間的相對滑動時，連線相鄰兩個剛體的運動副稱為低副。在進行操作臂的結構設計時，通常優先選擇僅具有乙個自由度的關節作為連桿的連線方式。大部分操作中包括轉動...
機械臂開發之機械結構
由於經濟不允許，比較昂貴的機械臂沒有接觸過，但是基本的機械結構都是相識的，一般就是用的材料和驅動的方式不一樣，然後我就以我自己用的機械臂來談談。我組裝的機械臂是以舵機作為機械臂的關節進行控制的，接下來以三自由機械臂進行介紹。三自由度機械臂分析 一.關節 這個機械臂擁有三個旋轉關節，底部的旋轉關節jo...
機械臂控制 5
基本指南 robodk是用於模擬和離線程式設計的軟體。按f1時，將顯示與所選專案相關的幫助主題 參考座標系 注意 乙個參考係相對於另乙個參考係的關係也稱為姿勢 位置和方向 甲姿態可以通過xyz位置來表示和尤拉角為取向，通過xyz位置和四元數的值或由乙個4 4矩陣。預設情況下，robodk顯示的關係作...