解讀手勢識別,或許不是VR互動的萬能工具

2021-09-20 14:31:00 字數 2316 閱讀 9877

擺脫外設的vr體驗需要手勢識別作為基礎,那麼手勢識別技術發展情況是如何呢?

現在主流的vr硬體裝置,主要的輸入輸出裝置還是類似傳統遊戲手柄的外設:oculus在touch沒發布之前,一直用的是微軟的xbox的手柄;htc和索尼都有自己研製開發的控制器作為互動工具。

但是如果想要在vr中達到更加自然的互動和沉浸體驗,擺脫外設的手勢識別必然是未來發展的乙個大方向。

手勢識別技術的發展,可以粗略分為兩個階段:二維手勢識別以及三維手勢識別。

早期的手勢識別識別是基於二維彩色影象的識別技術,所謂的二維彩色影象是指通過普通攝像頭拍出場景後,得到二維的靜態影象,然後再通過計算機圖形演算法進行影象中內容的識別。二維的手型識別的只能識別出幾個靜態的手勢動作,而且這些動作必須要提前進行預設好。

相比較二維手勢識別,三維手勢識別增加了乙個z軸的資訊,它可以識別各種手型、手勢和動作。三維手勢識別也是現在手勢識別發展的主要方向。不過這種包含一定深度資訊的手勢識別,需要特別的硬體來實現。常見的有通過感測器和光學攝像頭來完成。

根據硬體實現方式的不同,目前行業內所採用的手勢識別大約有三種:

結構光(structure light),通過雷射的折射以及演算法計算出物體的位置和深度資訊,進而復原整個三維空間。結構光的代表產品有微軟的kinect一代。不過由於以來折射光的落點位移來計算位置,這種技術不能計算出精確的深度資訊,對識別的距離也有嚴格的要求。

光飛時間(time of flight),載入乙個發光元件,通過cmos感測器來捕捉計算光子的飛行時間,根據光子飛行時間推算出光子飛行的距離,也就得到了物體的深度資訊。代表作品為intel帶手勢識別功能的三維攝像頭。

多角成像(multi-camera),現在手勢識別領域的佼佼者leap motion使用的就是這種技術。它使用兩個或者兩個以上的攝像頭同時採集影象,通過比對這些不同攝像頭在同一時刻獲得的影象的差別,使用演算法來計算深度資訊,從而多角三維成像。

手勢識別中最關鍵的包括對手勢動作的跟蹤以及後續的計算機資料處理。

關於手勢動作捕捉主要是通過光學和感測器兩種方式來實現,在此不再贅述原理。手勢識別推測的演算法,包括模板匹配技術(二維手勢識別技術使用的)、通過統計樣本特徵以及深度學習神經網路技術。

前兩種在早期的手勢識別技術中運用的比較多,而基於深度學習神經網路的手勢識別必然是未來手勢識別的趨勢。這種技術可以讓機器自己去提取特徵,它不需要手工特徵提取,強大的學習能力使得模型在複雜背景下也能取得理想效果。而且這種演算法可以在一定範圍內允許運動背景的存在,從而提高了識別的環境耐受力和精細度。

其次還可以運用在汽車的智慧型駕駛上。在去年的亞洲ces展上,寶馬展出了最新idrive系統,通過安裝在車頂上的3d感測器對駕駛員手勢的識別,實現對車輛導航、資訊娛樂系統的控制等。

不過,手勢識別作為人機互動重要的一環,正如開篇所述,現在最火的應用場景其實是vr。目前像國外的leap motion,國內的凌感,都在把研究的重點放在vr的應用中。

vr的最大特點就是沉浸感和互動性,擺脫外設的手勢識別可以加強體驗的沉浸感。在虛擬世界裡,你可以完全像真實世界中一樣去使用你的雙手。

問題是對於vr來說,互動並不具備通用性和唯一性的特點。舉個例子,如果是一些簡單的拾取類的操作,手勢識別是非常自然的互動方式。但如果是那種需要使用各式各樣**工具的重型的vr遊戲體驗,手上空無一物的話,沉浸感和真實性就要大打折扣了。從這個角度來看,手勢識別並不是vr萬能的互動方式。

但是隨著vr硬體技術的不斷發展成熟,以及內容開發上的擴充套件,未來或許會出現多種技術結合的新的互動方式,而手勢識別一定是其中不可或缺的一環。

有了手勢識別,vr體驗的沉浸感和互動性會大大增強是毋庸置疑的,不過從目前的硬體發展來看,手勢識別想要成為vr中最自然的互動方式,還需要等待動作追蹤和深度學習演算法的深入研究,而且可能還需要與其它互動方式相結合。不過可以預見的是手勢識別技術在未來一定會成為我們生活中常見的互動方式,如果再加上語音識別、眼球追蹤等等技術,未來我們完全可以做到像好萊塢科幻電影中那樣,揮揮手,動動口完成各種互動。

2016-11-23 18:41

巫盼

解讀手勢識別,或許不是VR互動的萬能工具

擺脫外設的vr體驗需要手勢識別作為基礎,那麼手勢識別技術發展情況是如何呢?現在主流的vr硬體裝置,主要的輸入輸出裝置還是類似傳統遊戲手柄的外設 oculus在touch沒發布之前,一直用的是微軟的xbox的手柄 htc和索尼都有自己研製開發的控制器作為互動工具。但是如果想要在vr中達到更加自然的互動...

swift 手勢識別

viewcontroller.swift jieuitapgesturerecognizer created by jiezhang on 14 10 4.import uikit class viewcontroller uiviewcontroller,uiactionsheetdelegate...

手勢識別器

注意要把物件imageview的互動開了 建立乙個imageview 新增手勢用 uiimage image uiimage imagenamed selected uiimageview imageview uiimageview alloc initwithframe uiscreen main...