MirrorFlow 探索光流和遮擋中的對稱資訊

2021-08-20 14:56:26 字數 751 閱讀 2681

雖然光流估計是計算機視覺中乙個非常古老的課題,但是最近的一些benchmark資料集依然表面該領域存在許多問題。例如,遮擋問題依然是光流估計得乙個難點。

在本文中,作者研究了光流和遮擋的「雞蛋相生」關係(光流估計需要了解遮擋,而遮擋又與光流相關),提出了一種利用對稱資訊的光流方法。與目前許多的演算法將遮擋作為外點並進行剔除不同,本文重點使用了遮擋資訊,並且展示了如何使用遮擋資訊進行光流估計。

本文演算法的核心在於模型中充分使用了連續影像間光流和遮擋空白的對稱性,即通過在能量函式中使用前後一致性和遮擋空白一致性。基於以上原因,作者的模型能夠同時估計前後向的光流圖和對應的遮擋圖。

經過實驗,本文的演算法在標準資料集上取得了非常不錯的效果,其中遮擋-空白對稱發揮了重要作用。在kitti資料集上,本文的演算法提供了目前雙幀的最高精度。

圖1 本文演算法與傳統演算法的區別

圖2 本文演算法的關鍵概念

圖3 本文演算法在kitti上的結果

光流演算法 Horn Schunck光流講解

光流 optical flow 是空間運動物體在觀察成像平面上的畫素運動的瞬時速度。光流場是乙個二維向量場,它反映了影象上每一點灰度的變化趨勢,可看成是帶有灰度的畫素點在影象平面上運動而產生的瞬時速度場。它包含的資訊即是各像點的瞬時運動速度向量資訊。光流的集合。亮度恆定不變。同一目標幀間變化亮度不發...

光流法詳解之一 LK光流)

lucas kanade光流演算法是一種兩幀差分的光流估計演算法。它由bruce d.lucas 和 takeo kanade提出 1 lk光流法有三個假設條件 1.亮度恆定 乙個畫素點隨著時間的變化,其亮度值 畫素灰度值 是恆定不變的。這是光流法的基本設定。所有光流法都必須滿足。2.小運動 時間的...

光流基本介紹

光流的概念是gibson在1950年首先提出來的。它是空間運動物體在觀察成像平面上的畫素運動的瞬時速度,是利用影象序列中畫素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關係,從而計算出相鄰幀之間物體的運動資訊的一種方法。一般而言,光流是由於場景中前景目標本身的移動 相機的...