**:efficient pig counting in crowds with keypoints tracking and spatial-aware temporal response filtering
youtube:
icra2020,京東農牧美國團隊的作品
**提出了乙個自底向上的豬隻身體關鍵點檢測方法,非常類似openpose。然後是乙個基於匈牙利演算法的不同時刻豬隻匹配問題。最後基於空間敏感時序響應(strf)進行豬隻計數。
主要貢獻:
在大量聚集的房屋中的豬隻點數的感測器硬體配置被提出。
乙個新穎的自下而上的豬隻關鍵點檢測演算法被提出,解決了檢測中的高iou問題,遮擋問題,形變問題。
基於空間敏感時序響應(strf)演算法被提出,解決了跟蹤和豬隻運動造成的誤檢問題。
乙個高效的豬隻點數的整體流程被提出,並且在嵌入式裝置取得了非常快的速度表現。
整體流程:
高iou問題:
基於座標軸對齊的正框,不能解決高iou的問題。但是本文的基於關鍵點的方法,則完全可以避免這個問題。
關鍵點網路結構:
網路輸入大小為352*640,整體結構先進行下取樣,再進行上取樣。輸出大小和輸入大小一樣。
網路的輸出包括2個部分,關鍵點的特徵圖和關鍵點的偏移向量。
其中關鍵點的特徵圖包含4個通道,1個紅色點+2個綠色點+2個藍色點+背景,組成了4個通道。本質就是基於每乙個pixel的分類問題,訓練loss為交叉熵loss。
關鍵點偏移的特徵圖包含2個通道,分別表示x,y的偏移。
g0(x) 表示關鍵點的mask,關鍵點位置為1,背景位置為0,
u(x) 表示網路的**
v (x) 表示ground truth,
關鍵點跟蹤:
關鍵點跟蹤問題,本質是乙個二分圖匹配問題(bipartite graph matching),最終通過匈牙利演算法解決。
ct-1j 表示,第j頭豬在t-1時刻的候選,
cit表示,第i頭豬在t時刻的候選,
ψ 表示ct-1j和cit的相似性,
ψ由關鍵點的相似性ψa和空間距離的相似性ψl組成,
其中,關鍵點的相似性ψa,通過關鍵點檢測網路的上取樣的前一層的特徵作為關鍵點的特徵。
空間距離的相似性ψl,基於豬隻中心點的l2距離得到。
strf將乙個水平分為啟用區域和非啟用區域,非啟用區域表示已經計入總的豬隻個數的區域,啟用區域表示還未計入總的豬隻個數的區域。啟用區域經過啟用掃瞄線,就變為非啟用區域。
使用strf演算法,大大的避免了誤檢問題。
實驗結果:
關鍵點檢測結果,
點數結果,
總結:
基於 OpenCV 的面部關鍵點檢測實戰
csdn 編者按 這篇文章概述了用於構建面部關鍵點檢測模型的技術,這些技術是udacity的ai nanodegree程式的一部分。作者 小白 責編 歐陽姝黎 概述 在udacity的aind的最終專案中,目標是建立乙個面部關鍵點檢測模型。然後將此模型整合到完整的流水線中,該流水線拍攝影象,識別影象...
基於2D多邊形的碰撞檢測和響應 一
簡介 本文是闡述如何在2d動作遊戲中進行精確而高效的碰撞檢測。這裡的碰撞是基於多邊形而不是基於精靈的。這兩者之間在設計上會有不同。基於精靈的碰撞檢測是通過精靈之間的重疊的畫素來完成的。而多邊形使用向量數學來精確計算交點,時間和碰撞方向。雖然多邊形僅僅是精靈的乙個近似,但是它比精靈系統要高階。特性本文...
基於2D多邊形的碰撞檢測和響應 四
下面要作的是用給定的量將兩個物體分離,並新增一點摩擦和一些靜態摩擦,以便使物體靜止在斜面上。該部分使用簡單的速度影響演算法。同樣,為了使碰撞響應更加真實,物體被賦予了質量 更好的是質量的倒數 質量的倒數是比較常用的,該值為零意味著該物體具有無窮大的質量,並因此不能移動。同時速度響應中使用質量的倒數具...