一直以來，行為識別（action recognition）中的雙流（two-stream）方法將rgb影象和光流（optical flow）作為網路輸入，並取得了不錯的效果，通常會將光流作為「黑盒」。我們可能會想：
為什麼光流對於行為識別問題有幫助？光流中的什麼資訊對行為識別問題是有利的？我們怎麼能讓光流biand
作者在《on the integration of optical flow and action recognition》這篇文章[1]中深入討論了光流與行為識別的結合，並通過實驗觀察到如下結論：
（1）光流對於行為識別是有用的，因為它的外觀不變性；
（2）光流法採用最小化端點誤差（epe，end-point-error）來優化，但是當前epe方法與動作識別效能沒有很好的相關性；
（3）對於測試過的光流方法，在邊界上和小位移上的精度與動作識別效能最相關；
（4）採用最小化分類誤差（而非epe）來訓練光流可以提高識別效能；
（5）用於行為識別任務的光流不同於傳統的光流，特別是在人體內部和身體邊界處。
[1] sevilla-lara l, liao y, guney f, et al. on the integration of optical flow and action recognition[j]. arxiv preprint arxiv:1712.08416, 2017.
光流演算法 Horn Schunck光流講解
光流 optical flow 是空間運動物體在觀察成像平面上的畫素運動的瞬時速度。光流場是乙個二維向量場，它反映了影象上每一點灰度的變化趨勢，可看成是帶有灰度的畫素點在影象平面上運動而產生的瞬時速度場。它包含的資訊即是各像點的瞬時運動速度向量資訊。光流的集合。亮度恆定不變。同一目標幀間變化亮度不發...
光流法詳解之一 LK光流）
lucas kanade光流演算法是一種兩幀差分的光流估計演算法。它由bruce d.lucas 和 takeo kanade提出 1 lk光流法有三個假設條件 1.亮度恆定 乙個畫素點隨著時間的變化，其亮度值 畫素灰度值 是恆定不變的。這是光流法的基本設定。所有光流法都必須滿足。2.小運動 時間的...
光流基本介紹
光流的概念是gibson在1950年首先提出來的。它是空間運動物體在觀察成像平面上的畫素運動的瞬時速度，是利用影象序列中畫素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關係，從而計算出相鄰幀之間物體的運動資訊的一種方法。一般而言，光流是由於場景中前景目標本身的移動 相機的...