深度 手勢識別已起步,行業者還需找準剛需厚積薄發

2021-09-20 14:49:58 字數 4141 閱讀 3995

手勢識別是互動體驗最基本的需求,精準與實時為關鍵所在。

這是乙個奇怪的現象,突然爆發的行業火著火著就冷了,如虛擬實境;

這也是乙個意料之中的現象,因為即便概念再火,不能真正落地也終是枉然,如vr互動式體驗。

據不完全統計,截至2023年上半年,國內vr行業投融資事件共有117起,總投資規模超40億元。其中2023年全年投融資事件有57起,投資規模為24億元;2016上半年投資事件有38起,投資規模為15.4億元。而到了2023年下半年,vr領域的投融資事件已鮮有聽聞。

可以看到,國內的vr熱在2023年下半年急速冷卻。對此現象,行業的普遍解釋是:vr不過剛剛開始發展,落地掙錢太難;體驗者對此的評價則是:vr沒有想象中帶感,僅遊戲方面,vr體驗與普通的網遊體驗並沒有實質性的差別,而且時間短、消費高。

但如果從深處究其原因,乙個新興行業的發展需要有其自己的特色,而從行業開始吶喊vr至今,所強調的就是其強大的互動能力和沉浸感。但很顯然,互動不足、沉浸感不強,才是現在國內vr行業的真實寫照。對於乙個憑體驗效果判定產品好壞的行業來說,概念打了太久卻一直無法實現,這可謂是致命的。

「從當前行業發展情況及使用者需求來看,vr/ar頭顯廠商以及開發者對互動公升級的需求越來越迫切,自然互動已經成為大勢所趨。而手部的跟蹤與識別技術作為自然互動的基礎,也因此受到了行業的廣泛關注和看好。」 leap motion全球副總裁、大中國區總裁譚家東說。

手,一向是人體一切動作的先行及操作部件,心動則手動,例如從昏迷中醒來的人首先甦醒的就是手指。而在互動體驗中,手部動作訊號是否能夠被精確識別與實時傳輸則直接影響著整體體驗效果。

有過vr體驗相關經驗的人應該知道,現如今大多的vr體驗除需要戴上頭顯之外,為了能更好的與虛擬世界進行操作與互動,通常還需要使用者手持乙個或兩個手柄。從鎂客網了解的情況看,使用者在手持裝置進行體驗時通常有著以下三個困擾:

1.體驗之前需要先學習怎麼操作手柄;

2.手柄前期校準耗時;

3.裝置間訊號傳輸有延時,極其影響體驗效果。

而如果想要體驗者徹底沉浸於虛擬世界,廠商最基本要做到的就是,讓使用者用最簡單、最自然的方式進行無差別體驗。「可以問一下自己,在體驗中,你是否覺得在虛擬世界裡的手就是自己現實中的手?這是衡量手勢識別技術好壞的最重要標準。」 譚家東說。

不妨想象一下,如果你在家看電影時突然來了個**,只要將手抬至螢幕前方畫面就可暫停,是不是很快速?而當你看到乙個精彩鏡頭想要回放,只需要抬手在螢幕前方滑動一下,是不是很方便?

你還可以想象一下,當你在vr遊戲體驗中想要給隊友打暗號時,只要在現實世界中用手打個暗號就可以達到目的,是不是很爽?

可能在十年前,上述的三個情境還只是科幻想象而已,但如今,它卻實實在在已經來到了我們身邊。此外,雖然這三個情境都是依靠手勢識別技術實現的,但它們實際上用到了三類技術,從簡單的到複雜精細依次分為:二維手型識別、二維手勢識別及三維手勢識別。

二維手型識別,是手勢識別中最為簡單的一類技術。該技術可獲取二維靜態手勢,幫助使用者用手型控制裝置。這類技術的缺點就是不能識別動態手勢,只能識別預設好的靜態手型,拓展性差;而優點就是,該技術實質上是一種模式匹配技術,研發難度及硬體要求低;

二維手勢識別,與手型識別一樣,不含深度資訊,但它可以識別動態手型以及追蹤簡單的二維手勢動作,例如對著攝像頭進行滑動操作。這一技術可為使用者提供更為豐富的人機互動服務,體驗感有所增強,目前已在電視領域有所應用;

三維手勢識別,是當下最炙手可熱的手勢識別技術類別,所輸入的是包含深度的三維資訊,不僅可以識別手型、手勢,還可以從三維層面追蹤手部動作,為使用者提供隨心所欲的手部操控體驗,應用場景廣。但此類技術研發難度高、周期長且對硬體的數量及效能要求都大有提高,也因此成本較高,難在c端得以普及。

「在2023年,我們都應該玩起三維手勢了,深度資訊是以後主流。」某黑科技發燒級玩家說。誠然,當前三維手勢識別是最先進、體驗效果也是最好的。但可以看見,不同的手勢識別技術都有其優缺點,在整體技術發展不夠成熟的當下,依據應用場景的實際需求,選擇合適的技術輔以支撐,方能以最低的成本獲得可滿足需求的體驗效果,不致資源浪費。

「高魯棒性、高精度、高重新整理率和低延遲的手部追蹤是沉浸感的真正**。就是一直找不到理性剛需應用點。」凌宇智控ceo張道寧說。

就當前行業發展情況來看,在大多數情況下,使用者並不能體驗到完全準確無誤的手勢識別服務。其中,最為主要的問題有以下三個:

1.魯棒性差,直接降低互動強度,使體驗效果變差。舉個例子,當你在遊戲對戰中用手勢向敵人進行了5次進攻,前4次都準確打到了對方,卻在第5次進攻時出現了偏差或者攻擊發射不出去,導致你game over了,你還有繼續玩下去的慾望嗎?當前的手勢識別技術在原理上就存在著準確性不高的缺陷,一旦應用到實際場景中,很有可能會帶來不好的互動體驗,這也是為什麼當下大多的體驗式場景中,使用者寧用操控手持裝置的重要原因之一;

2.沒有反饋,使用者在虛擬世界中得不到物理反饋。以當前的手勢識別技術發展情況看,研發商們還無法給使用者提供實時的物理反饋。打個比方,你在虛擬世界中**一箭,如果是手持裝置,只要手柄上的按鈕切切實實被按動了,即便有延遲你不能看到箭**出去,你還是能確信這一箭你**。而如果僅靠手勢識別技術,在有延遲或者其他情況下,看不到實際效果就不能確信你是否操作成功,不知道自己到底有沒有對虛擬世界產生作用,也就沒有獲得真正沉浸感的體驗。

3.追蹤範圍有限,手部動作訊號必須在能**捉到的範圍內進行,體驗時需要時時注意,不能隨心所欲。此外,由於手勢識別技術門檻高,其對硬體、技術等要求極高,也直接導致了該技術研發周期長、資金耗費大,執行時功耗高,而精度卻沒有質的提公升,讓手勢識別行業者一直被圈於「做demo,講故事」的怪圈。

然而,即便當下手勢識別技術還不夠成熟,但正如那位發燒友所說,手部深度資訊識別是今後的體驗主流。

「手勢識別是互動技術的一種,可以應用在多個領域,除當下比較火的虛擬實境領域之外,在教育領域、醫療、傳統工業等領域的應用場景也正在開發中或已有所應用。」專注於慣性感測器動捕系統研發的xptah創始人&ceo陳會兵說。

隨著近年來更多商業化應用的出現,手勢識別市場規模正在急速擴大。今年三月,市場分析公司markets and markets曾發表報告稱,到2023年,手勢識別和無觸碰感知的市場規模將達到340億美元。而此前更有資料顯示,早在2023年,全球手勢識別與感測器市場達到了31.2 億美元的規模,復合年增長率為32.78%。

可以看到,谷歌、蘋果、英偉達、亞馬遜、微軟等在手勢識別領域均有布局,如微軟的手勢識別追蹤技術handpose、谷歌將於今年發布的project soli手勢識別晶元、亞馬遜獲得的ar手勢識別專利等,涉及了智慧型家居、ar/vr、晶元、自動駕駛等各大硬科技領域。

而隨著國內市場環境的改善,接受能力快、學習及創新能力強的手勢識別技術公司也開始漸漸嶄露頭角,如凌感、諾亦騰等。順應而來的,很多國外的技術開發商開始在中國設立海外辦公室,與國內硬體廠商、內容開發商合作,共同開啟中國市場,如即將在中國設立海外辦公室的leap motion等。「我們非常歡迎越來越多的領先企業和我們一起去研究探索,研發出最好的自然互動解決方案。互動問題的解決可以帶動整個行業的發展,希望我們大家可以伴隨著行業共同成長。」

雖然目前手勢識別技術發展不夠成熟,各種問題仍舊阻礙著使用者體驗效果的提公升。但不可否認的是,手勢識別技術是互動式體驗不可或缺的重要組成部分。行業發展早期,還需研發商戒驕戒躁,基於傳統互動手段,穩步提高手勢識別精準度與實時性,給予使用者虛擬及現實的沉浸體驗。

2017-07-23 21:01

伶軒

深度學習tensorflow之手勢識別程式改造

拿到基礎程式後。基本可以試一下效果了。不過效果會很差。也就是結構準確一點點罷了。n classes 10 5種手勢 img w 227 resize影象,太大的話訓練時間久 img h 227 batch size 64 由於資料集較小,所以選值較大 一次訓練512張已經是該電腦的極限了 capac...

swift 手勢識別

viewcontroller.swift jieuitapgesturerecognizer created by jiezhang on 14 10 4.import uikit class viewcontroller uiviewcontroller,uiactionsheetdelegate...

手勢識別器

注意要把物件imageview的互動開了 建立乙個imageview 新增手勢用 uiimage image uiimage imagenamed selected uiimageview imageview uiimageview alloc initwithframe uiscreen main...