基於多感測器融合的3D檢測演算法(二)

2021-10-10 14:45:22 字數 615 閱讀 8094

這類方法是直接從輸入資料中生成3d檢測框。

該類方法的近幾年最經典的工作便是mv3d。mv3d先是在鳥瞰圖生成一系列的proposal,然後再將生成的proposals投影到點雲的前檢視和rgb影象中,在roi層面進行了不同視角的特徵融合。

該方法有以下幾個缺點和不足:

相比mv3d的bbox編碼方式(採用8個corner來編碼bbox)而言,這種編碼方式減少了編碼的維度(從24個維度減少成10個維度),同時也避免了角度**的模糊性

clocs採用的是後期融合的方式來融合點雲和的特徵。作者認為採用早期融合方式的乙個缺陷就是兩種模態之間的資訊並沒有對齊,此時若直接融合兩種模態的資訊,勢必會影響檢測器的效能。但是如果在後期基於roi進行融合的話,其對於原始資訊之間的互動卻又是最少的。因此問題的關鍵就在於,如何實現兩種模態資訊的充分互動。這裡作者提出了一種基於概率來引導融合的方式。作者在文章中提出了這樣的兩個假設:

乙個是幾何一致性,乙個是語義一致性。幾何一致性主要通過iou來刻畫,語義一致性則反映為只針對同類別的proposal進行相似度度量。

其pipeline如圖所示:

KITTI2D及3D車輛檢測演算法

表1 基於視覺資訊的kitti資料集車輛檢測榜method moderate easy hard runtime subcnn 1 89.04 90.81 79.27 2 s gpu ms cnn 2 89.02 90.03 76.11 0.4 s gpu sdp rpn 3 88.85 90.14...

3d 根據弧長算角度 機器視覺中的3D感測器

近年來,機器視覺技術變得越來越複雜,工業領域的影象處理更多的專注於3d感測器,而且越來越多的技術已經完善並且投入到實際應用中,包括焊縫的檢測,以及在生產過程中對未分類部件進行倉揀或精確測量金屬板。可以說,機器視覺已經轉向了3d。在過去的幾年裡,點雲評估和測量軟體也得到了快速地的發展 從單一的影象資料...

皮帶秤 演算法 基於智慧型容錯演算法的多感測器皮帶秤

基於智慧型容錯演算法的多感測器皮帶秤 籍晉鵬李麗巨集 期刊名稱 感測器與微系統 年卷 期 2014 033 011 摘要 傳統的多感測器電子皮帶秤不具有故障感測器容錯功能 針對上述缺陷 提出一種新方法 該方法根據多路感測器之間的相關性 利用徑向基函式神經網路 rbfnn 建立故障感測器的預估網路 並...