densepose是 facebook 研究員 natalia neverova、iasonas kokkinos 和法國 inria 的 rıza alp guler 開發的乙個令人驚嘆的人體實時姿勢識別系統，它在 2d 影象和人體3d 模型之間建立對映，最終實現密集人群的實時姿態識別。
具體來說，densepose 利用深度學習將 2d rpg 影象座標對映到 3d 人體表面，把乙個人分割成許多 uv 貼圖（uv 座標），然後處理密集座標，實現動態人物的精確定位和姿態估計。
densepose模型以及資料集已經開源，傳送門：
最近，該團隊更進一步，發布了基於 densepose 的乙個姿勢轉換系統：dense pose transfer，僅根據一張輸入影象和目標姿勢，創造出 「數碼化身」 的動畫效果。
在這項工作中，研究者希望僅依賴基於表面（su***ce-based）的物件表示（object representations），類似於在圖形引擎中使用的物件表示，來獲得對影象合成過程的更強把握。
研究者關注的重點是人體。模型建立在最近的 smpl 模型和 densepose 系統的基礎上，將這兩個系統結合在一起，從而能夠用完整的表面模型來說明乙個人的影象。
具體而言，這項技術是通過 su***ce-based 的神經合成，渲染同乙個人的不同姿勢，從而執行影象生成。目標姿勢（target pose）是通過乙個 「pose donor」 的影象表示的，也就是指導影象合成的另乙個人。densepose 系統用於將新的**與公共表面座標相關聯，並複製**的外觀。
我們在 deepfashion 和 mvc 資料集進行了實驗，結果表明我們可以獲得比最新技術更好的定量結果。
除了姿勢轉換的特定問題外，所提出的神經合成與 su***ce-based 的表示相結合的方法也有希望解決虛擬實境和增強現實的更廣泛問題：由於 su***ce-based 的表示，合成的過程更加透明，也更容易與物理世界連線。未來，姿勢轉換任務可能對資料集增強、訓練偽造檢測器等應用很有用。
研究人員以一種高效的、自下而上的方式，將每個人體畫素與其在人體引數化的座標關聯起來，開發了圍繞 densepose 估計系統進行姿勢轉換的方法。
我們以兩種互補的方式利用 densepose 輸出，對應於**模組和變形模組（warping module），如圖 1 所示。
圖 1：pose transfer pipeline 的概覽：給定輸入影象和目標姿勢，使用 densepose 來執行生成過程。
變形模組使用 densepose 表面對應和影象修復（inpainting）來生**物的新檢視，而**模組是乙個通用的黑盒生成模型，以輸入和目標的 densepose 輸出作為條件。
這兩個模組具有互補的優點：**模組成功地利用密集條件輸出來為熟悉的姿勢生成合理的影象；但它不能推廣的新的姿勢，或轉換紋理細節。
相比之下，變形模組可以保留高質量的細節和紋理，允許在乙個統一的、規範的座標系中進行修復，並且可以自由地推廣到各種各樣的身體動作。但是，它是以身體為中心的，而不是以衣服為中心，因此沒有考慮頭髮、衣服和配飾。
將這兩個模組的輸出輸入到乙個混合模組（blending module）可以得到最好的結果。這個混合模組通過在乙個端到端可訓練的框架中使用重構、對抗和感知損失的組合，來融合和完善它們的**。
如圖 3 所示，在修復過程（inpainting process），可以觀察到乙個均勻的表面，捕捉了**和貼身衣服的外觀，但沒有考慮頭髮、裙子或外衣，因為這些不適合 densepose的表面模型。
我們在 deepfashion 資料集上進行實驗，該資料集包含 52712 個時裝模特影象，13029 件不同姿勢的服裝。我們選擇了 12029 件衣服進行訓練，其餘 1000 件用於測試。
表1：根據結構相似度 (ssim)、 inception score(is)[41] 和 detection score(ds)指標，對deepfashion 資料集的幾種 state-of-the-art 方法進行定量比較。
我們首先將我們的框架與最近一些基於關鍵點的影象生成或多檢視合成方法進行比較。
表 1 顯示，我們的 pipeline 在結構逼真度（structural fidelity）方面有顯著優勢。在以is 作為指標的感知質量方面，我們模型的輸出生成具有更高的質量，或可與現有工作相媲美。
定性結果如圖 4 所示。
圖 4：與最先進的 deformable gan (dsc) 方法的定性比較。
在這項工作中，我們介紹了乙個利用密集人體姿態估計的 two-stream 姿態轉換架構。我們已經證明，密集姿勢估計對於資料驅動的人體姿勢估計而言是一種明顯優越的調節訊號，並且通過 inpainting 的方法在自然的體表引數化過程中建立姿勢轉換。在未來的工作中，我們打算進一步探索這種方法在**級真實影象合成，以及處理更多類別方面的潛力。
字典轉換模型
1 模型就是專門用來存放資料的物件，即資料模型 優點 模型設定資料都是通過它的屬性，屬性名如果寫錯了，編譯器會馬上報錯，因此保證了資料的正確性 使用模型訪問屬性時，編譯器會提供一系列的提示，提高編碼效率 nsarray dataarr self.dataarr temparray return da...
E R模型轉換為關係模型
轉換只需知道三個轉換準則 1 1 遇到1 1 關係的話在兩個實體任選乙個新增另乙個實體的主鍵即可。1 n 1 n 遇到 1 n 關係的話在n端新增另一端的主鍵，假如有學生和班級兩個實體，乙個班級可以容納多個學生，但是乙個學生只能選擇乙個班級，因此班級和學生是1 n的關係，現在要轉換為關係模型，我們只...
matlab顏色模型轉換
rgb2hsv rgb imread e a matlab file picture sky.jpeg hsv rgb2hsv rgb subplot 1,2,1 imshow rgb title 原始影象 subplot 1,2,2 imshow hsv title hsv影象 title 原始影...