摘要
目前研究的主要挑戰：怎麼有效的提取具有辨別性的空間和時間特徵
因此提出了 注意力增強圖卷積lstm網路 agc-lstm
agc-lstm不僅可以捕捉空間配置和時間動態的判別特徵，而且可以捕捉時間域和空間域的共現關係；此外提出了時間層次結構來增強最高層agc-lstm層的時間感受域，從而提高了學習高階語義表現的能力，並且顯著減少了計算成本；為了選擇和辨別空間資訊，注意力機制採用增強每個agc-lstm層的關鍵關節的資訊。
一、介紹
人體骨骼3個顯著的特徵：
每乙個節點和他相鄰的節點有強相關性，因此骨骼框架包含大量的人體結構資訊
不僅僅是相同的關節（比如手、手腕、手肘）有時間連續性，整個身體結構也存在時間連續性
時間域與空間域有共現關係
上圖是agc-lstm網路架構
首先，每乙個關鍵點的座標轉換為乙個具有線性層的空間特徵；
然後，連線兩個連續的幀的空間特徵和特徵差異來構成增強特徵（為了消除兩個特徵之間的比例差異，在處理每個關節序列時使用共享lstm）；
接下來，使用3個agc-lstm層來模擬時空特徵，agc-lstm層的結構圖如下；
最後，使用所有關節點的全域性特徵和來自最後乙個agc-lstm層的聚焦關節的區域性特徵來**動作分類。
上圖是agc-lstm層的結構圖
由於agc-lstm中的圖卷積運運算元，使得其不但可以有效的獲取空間配置和時間動態的判別特徵，還可以探索空間域和時間域的共現關係。
受cnn的空間池化的啟發，提出了時間層次結構和時間平均池化來增強最高層agc-lstm時間接受域，這提高了學習高階時空語義特徵的能力，並且降低了計算成本。
二、相關工作
neural networks with graph
現存的圖模型框架主要有兩種：gnn、gcn
gnn：圖神經網路，圖和迴圈神經網路的結合，通過節點的狀態更新和資訊傳遞的多重迭代，每乙個節點捕捉其相鄰節點內的語義關係和結構資訊。
gcn：圖卷積網路，它將卷積網路推廣到圖，有兩種gcn：光譜gcn和空間gcn
光譜gcn在圖光譜域中變換圖形訊號，然後在光譜域使用光譜濾波器
空間gcn應用卷積運算利用鄰域資訊為每乙個節點計算新的特徵向量
為了計算圖序列的時空特徵，圖卷積lstm在structured sequence modeling with
graph convolutional recurrent networks被第一次提出，它是gcn 的擴充套件，具有迴圈架構。
skeleton-bsaed action recongnition
傳統基於骨骼的動作識別方法主要關注於設計手工製作的特徵。最近的研究主要是通過深度學習網路來學習人類動作表示。
使用圖神經網路來捕捉空間結構資訊和使用lstm來模擬時間動態，雖然可以提高效能，但是忽略了時間特徵和空間特徵的共現性，而agc-lstm不但可以提取可辨別的時間特徵和空間特徵而且還可以探索時間域和空間域的共現關係。
基於openpose的動作識別（二）
在windows平台使用pythonapi執行乙個識別手指的demo 一 準備檔案 二 執行除錯 1.參考文件 examples tutorial api python 2.使用配置好環境的pythonide開啟 openpose master examples tutorial api pytho...
基於SVM分類器的動作識別系統
摘 要 動作識別領域近年來隨著動作採集技術的成熟而高速發展，因其無需借助任何 計算機系統的傳統輸入裝置就能夠準確識別出使用者意圖，對三維動作資料進行資料 處理與挖掘的技術，現已廣泛運用到了計算機動畫 遊戲 新型人機互動和智慧型家居控制等領域。支援向量機 support vector machine,...
骨骼的動作識別資料集 人體骨骼動作識別
參賽者須同意如下保密規則 1.保密資訊範圍 平台方向參賽者披露或提供的全部資訊，以及參賽者因參加本次大賽從平台方處獲得 知曉所得的商業秘密和其他所有非第三方所知的資訊，包括但不限於 1 平台方提供的 語音 資料 等 2 平台方從第三方處獲得但應承擔保密義務的資料 資訊 3 其他通常不為平台方以外的人...