最近在arxiv和一些會議上看到了幾篇3d點雲分割*****，覺得還不錯，在這裡分享下基本思路。
除了區域性特徵外，全域性資訊在語義分割中起著至關重要的作用，而現有的研究往往無法明確地提取出有意義的全域性資訊並加以充分利用。本文提出了乙個場景編碼模組來實施場景感知指導，以增強全域性資訊的效果。該模組**場景描述符，場景描述符學習表示場景中存在的物件的類別，並通過過濾不屬於該場景的類別直接指導點級語義分割。另外，為了減少區域性區域的分割雜訊，本文設計了乙個區域相似性損失來將特徵傳播到具有相同標籤的相鄰點上，從而提高了點特徵的識別能力。**還將方法整合到幾種網路中，並在scannet和shapenet基準資料集上進行了廣泛的實驗。結果表明，該方法大大提高了在baseline上的表現，達到了
提出了一種新的正交平面及其相交線、關係圖和位於三個正交平面相交處的角點的無分割聯合估計方法。這種在正交性下的統一場景探索允許許多應用，例如語義平面檢測或區域性和全域性掃瞄對齊，這反過來可以幫助機械人定位或抓取任務。
本文的兩階段pipelines包括對正交平面進行粗略的聯合估計，然後根據正交關係對平面引數進行聯合求精。形成了這些原語的圖形，為進一步提取可靠的特徵如線和角鋪平了道路。本文的實驗證明了提出的方法在從牆檢測到6d跟蹤的各種場景中的有效性，無論是在合成資料還是真實資料上。
三維點雲語義和例項分割是三維場景理解的關鍵和基礎。由於點集結構的複雜性，點集的分布呈現出非平衡性和多樣性，表現為類別不平衡和模式不平衡。因此，深度網路在學習過程中很容易忘記非優勢案例，導致學習效果不理想。雖然重新加權可以減少分類好的例子的影響，但在動態訓練中不能處理非優勢模式。本文提出了一種記憶增強網路來學習和記憶覆蓋不同樣本的典型原型。特別地，通過記錄在小批量訓練中看到的模式，引入了乙個記憶模組來緩解遺忘問題。學習記憶專案一致地反映了顯性和非顯性類別和案例的可解釋和有意義的資訊。因此，可以通過檢索儲存的原型來增加扭曲的觀察和罕見的情況，從而獲得更好的效能和泛化。在s3dis和scannetv2兩個基準上進行了詳盡的實驗，證明了該方法在效率和有效性上的優越性。不僅總體精度有了很大提高，而且非優勢類也有了很大提高。
為了同時解決三維點雲的例項和語義分割問題，本文提出了一種新的聯合例項和語義分割方法jsnet。首先，建立乙個有效的backbone，從原始點雲中提取魯棒特徵。其次，為了獲得更具鑑別能力的特徵，提出了一種點雲特徵融合模組，對backbone的不同層次特徵進行融合。在此基礎上，開發了乙個聯合例項語義分割模組，將語義特徵轉化為例項嵌入空間，並將轉化後的特徵與例項特徵進一步融合，實現例項分割。同時，該模組還將例項特徵聚合到語義特徵空間中，促進語義分割。最後，通過對例項嵌入應用簡單的mean-shift聚類來生成例項**。本文在large-scale 3d indoor point cloud dataset 、s3dis 和shapenet資料集上評估提出的jsnet，並與現有的方法進行比較。實驗結果表明，該方法達到了sota。jsnet在三維例項分割中，對三維語義**有了顯著的改進，也有利於零件分割。
5、fuseseg: lidar point cloud segmentation fusing multi-modal data
本文介紹了一種簡單而有效的雷射雷達與rgb資料融合方法，並對雷射雷達點雲進行分割。利用雷射雷達感測器的稠密本徵距離表示和標定資訊，建立了兩種輸入模式之間的點對應關係。能夠將乙個域中的特徵扭曲並融合到另外乙個，因此可以在乙個網路中聯合利用來自兩個資料來源的資訊。為了證明該方法的優點，本文擴充套件了點雲分割網路squezeseg的rgb特徵分支，並將其融合到原始結構中稱之為fuseseg，它使kitti基準的iou提高了18%。除了精度的提高，**還實現了50 fps的實時效能，是kitti雷射雷達資料記錄速度的五倍。
往期乾貨資源：
彙總 | 國內最全的3d視覺學習資源，涉及計算機視覺、slam、三維重建、點雲處理、姿態估計、深度估計、3d檢測、自動駕駛、深度學習（3d+2d）、影象處理、立體視覺、結構光等方向！
彙總 | 3d目標檢測（基於點雲、雙目、單目）
彙總 | 6d姿態估計演算法（基於點雲、單目、投票方式）
彙總 | 三維重建演算法實戰（單目重建、立體視覺、多檢視幾何）
彙總 | 3d點雲後處理演算法（匹配、檢索、濾波、識別）
彙總 | slam演算法（視覺里程計、後端優化、回環檢測）
彙總 | 深度學習&自動駕駛前沿演算法研究（檢測、分割、多感測器融合）
彙總 | 相機標定演算法
彙總 | 事件相機原理
彙總 | 結構光經典演算法
彙總 | 缺陷檢測常用演算法與實戰技巧
點雲平面提取 點雲處理 平面分割與投影
pcl是乙個比較經典的點雲處理庫，目前在工作中用到了一些。這個庫，是乙個模組化比較不錯的模板庫，不過模組間的隔離不太好，還有boost flann vtk等標頭檔案或者庫檔案依賴，使用起來很不友好。還有乙個大問題，模板 編譯太慢了，實在難受。於是我重新封裝了一套 建立了 kpointcloud kp...
關於3D點雲濾波
點雲是三維離散資料，影象是二維稠密矩陣。資料型別的不同決定了其處理方式的差異，但濾波的基本原理和目的有相同之處 利用資料的低頻特性剔除離群資料，並進行資料平滑或提取特定頻段特徵。點雲濾波包括剔除離群點，擬合區域性平面，方法分別有ransac與3d擬合。影象濾波側重於糾正雜訊點 如中值濾波 並平滑影象...
3D點雲的深度學習
使用卷積神經網路 cnn 架構的深度學習 dl 現在是解決影象分類任務的標準解決方法。但是將此用於處理3d資料時，問題變得更加複雜。首先，可以使用各種結構來表示3d資料，所述結構包括 1 體素網格 2 點雲 3 多檢視 4 深度圖 對於多檢視和深度圖的情況，該問題被轉換為在多個影象上使用2d cnn...