上回說到機械人視覺的核心任務是estimation，理論框架是射影幾何理論。在之前的作業中展現了單應變換的巨大威力。然而，整個estimation 的首要條件是已知畫素點座標，尤其是多幅圖中對應點的畫素座標。
單幅影象的處理方法都是大路貨了，不贅述。這篇部落格想講講不變點檢測與不變特徵。由於機械人在不斷運動，所以可能從不同方向對同一物體進行拍攝。而拍攝的距離有遠近，角度有titled. 由於射影變換本身的性質，無法保證兩幅圖中的物體看上去一樣。所以我們需要一種特徵提取方法（特徵點檢測），能夠保證檢測是旋轉，縮放不變的。除此之外還要一種特徵描述方法，同樣對旋轉和縮放不變。
sift特徵提取可以分為以下幾個步驟，1、多尺度卷積，2、構造金字塔，3、3d非極大值抑制
多尺度卷積的作用是構造乙個由近及遠的影象。金字塔則由下取樣進行構造。此部分見之前部落格。
對於不同尺度的影象同乙個畫素，我們可以跟蹤它「灰度」的變化。我們發現，如果某一點對不同 sigma 的模版響應是不同的，最大響應（卷積後的灰度）所對應的scale 成為該點本徵scale。這有點像對乙個機械結構給不同頻率的激勵，某一頻率下會發生共振，我們可以記錄此頻率一定程度上代表了此結構（單擺頻率只和ml有關，有了f就可以重現系統）。
所以，我們只要找到乙個合適的模版（激勵方式），再找到最大響應，就可以獲取中各個點的 intrinsic scale(本徵尺度)。同一物體在不同距離拍攝後，都會統一在intrinsic scale下進行響應。由此解決了尺度不變的問題。
3d非極大值抑制是指在某點的3*3*3鄰域內，僅取最大響應，作為特徵點。由於該點是空間鄰域中響應最強的，所以該點也是旋轉不變的。從各個方向看，該點響應最強。
特徵提取和特徵描述實際上是兩碼事。在上一節中特徵提取已經結束了。假如有兩幅，那麼相同的特徵點肯定會被找到。特徵描述的作用是為匹配做準備，其以特徵點區域性區域資訊為標準，將兩幅圖中相同的特徵點聯絡起來。特徵的本質是乙個高維向量。要求尺度不變，旋轉不變。
這裡所使用的是hog特徵。特徵描述可以分為兩步：1、區域性主方向確定，2、計算梯度直方圖
以sigma作為特徵描述選擇範圍是乙個合理的想法，因為sigma描述了尺度，特徵點位置+尺度 = 特徵點所代區域性資訊。在此基礎上，統計其領域內所有畫素的梯度方向，以方向統計直方圖作為特徵向量，至此完成hog特徵構造。重要的是，在統計方向之前，需要把影象主方向和x軸方向對齊。示意圖如下：
圖中黃色的有點像時鐘的東西是特徵點+scale，指標代表該片小影象的主方向(pca)。綠色的是直方圖的bin，用於計算特徵向量。
最後，我們只要匹配特徵向量就可以得到 影象1 --- 影象2 的對應點對，通過單應矩陣的計算就可以將兩幅圖拼接在一起。如果已知標定資訊則可進行3d reconstruction.
1 i =single(rgb2gray(i)) ;view code2 [f,d] =vl_sift(i) ;
3 perm = randperm(size(f,2)) ;
4 sel = perm(1:50) ;
5 h1 =vl_plotframe(f(:,sel)) ;
6 h2 =vl_plotframe(f(:,sel)) ;
7 set(h1,'
color
','k
','linewidth
',3) ;
8 set(h2,'
color
','y
','linewidth
',2) ;
機械人學 機械人感知（Mapping）
軌跡規劃任務是再metric map的基礎上完成的。當然，層次最高的是語意圖，語意圖是未來研究的熱點方向。獲取metric map 的難度最大之處在於 1 感測器雜訊 may be solved by pgm 2 機械人在移動 location 問題 常見的map是基於ugv而言的，使用的地圖是oc...
機械人學 機械人感知（Location）
location 最大的難度來自於測量誤差。里程計的計數誤差，測量與里程計的不統一等。所以我們需要一種演算法，能夠較高精度的確定機械人的位姿。此處粒子濾波器的作用似乎與卡爾曼濾波器相似，但是粒子濾波器可以有非0的均值 編碼器讀數 可以有非正太分布 你關我怎樣取樣 可以有非線性解 反正是大力出奇蹟，什...
崑山威創工業機械人 崑山工業機械人學習
工業機械人 傳說中的哈工大與後起之秀尊輝培訓 哈工大，一所存在於北方高校中的傳說，南方高校中的問號，現如今走入崑山，和蘇州尊輝培訓強強聯合，簽訂了機械人聯合辦學的專案合作。關於哈工大，南方的很多同學可能都不是很了解，其實它不僅歷史悠久，其工科機械實力遠超其他類綜合大學，對於一心想尋求專業工業技能培訓...