機器視覺學習系列五 增強現實

2021-07-03 12:54:42 字數 721 閱讀 3951

專案背景: 定位人臉特徵點,進行人臉位姿估計,疊加眼鏡模型或者頭髮模型,完成增強現實;已有成熟的有標識物庫artoolkit,這個還是不錯的,針對任何特定圖案,略微修改一下,即可實現需要的效果;不過,對於無顯著標識物的(即是採用自然標識物的),該庫不就太行了,需要自己來完成略微;

具體實施方案:

1、標定攝像機引數,基於雙目立體視覺,分別獲得兩個攝像機的相關引數,基於張正友的經典標定理論;

2、對於新出現的人臉,首先基於步驟3獲得人臉的特徵點,然後基於雙目視覺進行特徵點的三維重建;

3、獲取人臉特徵點,基於asm/aam演算法,該演算法原理不是很複雜,不過能找到的原始碼,貌似效果一般,達不到老外的那種效果。對於清晰影象,首先獲得

人臉的眼角和嘴角等特徵點,作為aam搜尋的初始位置,然後在搜尋,效果可以提公升一部分;

4、基於單個相機獲得人臉特徵點和步驟2已獲得相應點的三維座標,獲得人臉的位姿,即平移和旋轉矩陣;

5、座標系變換,獲得人臉在相機座標系下的位資關係;

6、基於opengl,載入3d模型,把模型座標系也變換到相機座標系;

7、獲得最終的增強現實效果圖,主要是基於opengl的視角變換顯示;

不足:該專案最終的效果不理想,效果初步達到了,但是模型和人臉之間存在縫隙,體驗很不好,分析了原因,主要還是人臉特徵點的精確定位,

哎,期望有一天能找到乙個好的人臉特徵點檢測演算法;

最近face++,看起來很不錯,可行無法在專案中測試,繼續等待-----

未來的計算機視覺 增強現實技術

未來的計算機視覺 增強現實技術 2012年03月23日 行業新聞 被圍觀 3,014 views 增強現實 augmented reality,簡稱ar 也被稱之為混合現實。它通過電腦技術,將虛擬的資訊應用到真實世界,真實的環境和虛擬的物體實時地疊加到了同乙個畫面或空間同時存在。根據當前位置 gps...

機器學習系列筆記 五

learning 拆分為兩個問題 一 我們如何可以讓ein g 和eout g 足夠接近?二 如何讓ein g 變的越來越小?m hyposesis的大小 m比較小的時候 good,p bad 2mexp bad 很少的選擇 m比較大的時候 好的選擇,壞事情發生的機率增加 把hypotheses 分...

機器學習資料增強

資料增強 比較好的神經網路需要大量的引數,許許多多的神經網路的引數都是數以百萬計,而使得這些引數可以正確工作則需要大量的資料進行訓練,而實際情況中資料並沒有我們想象中的那麼多 資料增強的作用 增加訓練的資料量,提高模型的泛化能力 增加雜訊資料,提公升模型的魯棒性 資料增強的分類 擴充套件知識 雜訊資...