CVPR 2018摘要 第一部分

2021-09-01 12:48:58 字數 2971 閱讀 7152

neuronuggets: cvpr 2018 in review, part i

作者 |sergey nikolenko、aleksey artamonov

翻譯 |老趙 校對 |李晶

整理| 菠蘿妹

neuronuggets:cvpr 2023年回顧,第一部分

在neuromation,我們一直在尋找有助於我們的研究的新的有趣想法。 還有什麼比頂級會議更適合尋找它們的地方。 我們已經在cvpr(計算機視覺和模式識別)會議的研討會deepglobe介紹了我們如何取得成功。 這次我們將仔細研究一下cvpr本身最有趣的**。 這段時間,頂級會議是非常重要的事情,所以我們準備了一系列的推文。 我們介紹的**沒有特別的順序,不僅選擇優秀的**,而且與我們在neuromation所做的研究相關。 這一次,aleksey artamonov(你以前見過的人)準備了這份列表,我試圖對其補充一些介紹。 在這個系列中,我們將非常簡短,試圖從每篇**中提取最多乙個有趣的點,所以在這種方式我們不能真正了解完整的工作,並強烈建議完整閱讀**。

gan和計算機視覺

在第一部分中,我們專注於生成模型,即不僅可以區分貓狗,還可以生成新的貓和狗影象的機器學習模型。 對於計算機視覺,最成功的一類生成模型是生成性對抗網路(gan),其鑑別器網路學習區分生成的物件和真實物件,生成器學習去欺騙鑑別器。 我們已經多次寫過gan(例如,這裡和這裡),所以讓我們直接進入正題。

尋找戶外的小臉

y. bai等人,用生成性對抗網路在戶外尋找小小的面孔

在沙特和中國研究人員的合作中,作者使用gan來檢測和放大人群**上的非常小的面孔。 即使僅檢測小面孔也是乙個有趣的問題,普通的人臉檢測器(例如,在我們之前的帖子中出現)通常無法解決該問題。 在這裡,作者提出了乙個端到端的流水線來提取面部,然後應用生成模型將其提公升到4倍(乙個稱為超解析度的過程)。 以下是**中的流水線概覽:

pairedcyclegan化妝

h. chang等人,pairedcyclegan:用於和去除化妝的不對稱樣式轉移

條件gan已經廣泛用於影象處理; 我們已經提到過超解析度,gan也成功應用於風格轉換。 使用gan,可以學習與特定影象元素相對應的顯著特徵 - 然後更改它們。 在這項工作中,來自普林斯頓、伯克利和adobe的研究人員提出了乙個修飾**的框架。 這項工作的乙個有趣的部分是作者為不同的臉部組成部分(眼睛,嘴唇,**)訓練單獨的生成器並分別應用它們,用不同的網路提取臉部組成部分:

f. mueller等人,ganerated hands for mon-time rgb for real-time 3d hand tracking

行人遷移gan

l. wei 等人,person transfer gan to bridge domain gap for person re-identification

人物重新識別(reid)是在不同條件和不同情況下拍攝的不同**上找到同乙個人的問題。 這個問題自然而然地成為許多研究的主題,現在已經相對較好地解決了,但是領域差異問題仍然存在:不同的資料集與人物的影象具有非常不同的條件(照明,背景等),在乙個資料集上訓練的網路在轉移到另乙個資料集(以及例如現實世界的應用程式)時損失很大。 上圖展示了不同的資料集。 為了解決這個問題,這項工作提出了一種gan架構,能夠將影象從一種「資料集樣式」轉移到另一種「資料集樣式」,使用gan來通過複雜的變換增強真實資料。 它的工作原理如下:

生成模型的眼睛影象合成

k.wang等人,用於眼睛影象合成和眼睛凝視估計的分層生成模型

倫斯勒理工學院的這項工作解決乙個非常特殊的問題:生**眼的影象。 這不僅對於生成影象中漂亮的眼睛重要,而且用生成的眼睛解決視線估計問題:人們在看什麼? 這將為真正的科幻介面鋪平道路......但這仍然是未來,目前甚至合成眼睛生成也是乙個非常難的問題。 作者提出了乙個複雜的眼形合成概率模型,並提出了乙個gan架構,根據這個模型生成眼睛 - 取得了巨大的成功。

影象修復:填寫空白

j. yu等人,generative image inpainting with contextual attention

adobe research和伊利諾伊大學厄本那 - 香檳分校的這項工作試**決填補影象空白這個極具挑戰性的問題(見上面的例子)。 通常,修復影象需要了解潛在場景:在上圖中的右上角,你已經知道臉部是什麼樣的,以及我們根據看到的頭髮和頸部**臉可能是什麼樣的。 在這項工作中,作者提出了一種基於gan的方法,可以利用周圍影象的特徵來改善生成。 該結構由兩部分組成,首先生成粗略結果,然後使用另乙個網路對其進行細化。 結果非常不錯:

今天就是這樣。 這只是第一部分,我們將在下一期繼續進行cvpr 2018回顧,再見。

CVPR 2018摘要 第一部分

作者 sergey nikolenko aleksey artamonov 翻譯 老趙 校對 李晶 整理 菠蘿妹 neuronuggets cvpr 2018年回顧,第一部分 在neuromation,我們一直在尋找有助於我們的研究的新的有趣想法。還有什麼比頂級會議更適合尋找它們的地方。我們已經在c...

Axure RP 第一部分

axure rp是乙個專業的快速原型設計工具。axure 發音 ack sure 代表美國axure公司 rp則是rapid prototyping 快速原型 的縮寫。axure rp是美國axure software solution公司旗艦產品,是乙個專業的快速原型設計工具,讓負責定義需求和規格...

第一部分 初識Solr

第一章 solr簡介 這章主要包括內容 這本書講述nosql技術,apache solr 像它的非關係模式兄弟一樣,針對於某些問題進行了優化。特別的,solr在處理企業級大量資料 及時搜尋 文字資料 返回相關性結果等方面進行了很大優化。這裡說的只是冰山一角,讓我們從下面幾方面來進行詳細敘說 solr...