（由於時間原因，先給出了大致的總結提綱，具體內容明後天補上qnq）
這週的主要工作是將人體從背景中分割出來。
**中提到了mask r-cnn 和dense crf方法，似乎不理想
趁著這幾個機會學習了instance segmentation，semantic segmentation的區別。找到一張十分合適的圖
mask r-cnn
mask r-cnn是乙個非常靈活的框架，可以增加不同的分支完成不同的任務，可以完成目標分類、目標檢測、語義分割、例項分割、人體姿勢識別等多種任務
mask r-cnn演算法步驟
首先，輸入一幅你想處理的，然後進行對應的預處理操作，或者預處理後的；
然後，將其輸入到乙個預訓練好的神經網路中（resnext等）獲得對應的feature map；
接著，對這個feature map中的每一點設定預定個的roi，從而獲得多個候選roi；
接著，將這些候選的roi送入rpn網路進行二值分類（前景或背景）和bb回歸，過濾掉一部分候選的roi；
接著，對這些剩下的roi進行roialign操作（即先將原圖和feature map的pixel對應起來，然後將feature map和固定的feature對應起來）；
最後，對這些roi進行分類（n類別分類）、bb回歸和mask生成（在每乙個roi裡面進行fcn操作）。
dense crf
摳圖演算法 image matting
bayesian-matting
poisson-matting
knn matting
發現效果很好，但是需要trimap圖
現有靜態影象摳圖演算法均需對給定影象新增手工標記以增加摳圖問題的額外約束。常用的標記方式有trimap和strokes兩種
。trimap是對給定影象的一種粗略劃分，如圖2（b）所示，即將給定影象劃分為前景、背景和待求未知區域
，strokes則採用塗鴉的方式在影象上隨意標記前景和背景區域，剩餘未標記部分則為待求的未知區域，如圖2（c）所示
最後採用deeplab方法
deeplab: deep labelling for semantic image segmentation
deeplab系統的三個主要優點是：
速度；準確性；
簡單性：僅由dcnn和crf的級聯組成。 坑：
影象的位數表示不同
PhotoWakeUp 創新實訓 4
再讀 正面的身體自遮擋部位區域填充 使用patchmatch 4 方法 處理背部紋理是乙個開放的研究問題 27,10,28 文中給了兩種方法 1 將正面文理映象貼到背面 2 使用可選的使用者指南進行繪製。前後紋理用泊松混合縫合 32 運動序列來自 9 他們有個ui介面，可以提供紋理填充方式選擇和姿態...
PhotoWakeUp 創新實訓（8）
github位址 鑑於邊界點等效果較差，採取兩種措施 1 使用bfs思想平滑。通過常識我們知道，相鄰畫素之間的深度值不會差別很大。從這種想法出發，選取基本點，然後用bfs方法減少相鄰的畫素之間的深度值差。主要 如下 import queue 從中心點開始，bfs向外擴充套件，將變化大的點的深度值平滑...
「photo wake up」創新專案實訓開題總結
專案名稱 photo wake up 基於二維影象的三維人體模型重建 專案背景 哈利波特 世界裡有一種神奇的魔法報紙，報中 上的人物可以動起來，看起來有點像 gif 圖。在故事裡這當然是 魔法 的功勞，現實世界中還沒有造出這樣的報紙。我們想通過現有對影象的研究，使用ai演算法，實現這個過程。華盛頓大...