本文提出了simclr：乙個生成視覺表達（representation）的簡單對抗學習框架。我們簡化了近些年提出的對抗學習的框架，我們的演算法不需要特殊的結構和龐大的儲存體（memory bank），為了理解到底什麼使得這種對抗學習能夠學得有用3的表達，我們系統的研究了我們框架中的基本的元件： **1. 資料增光在高效的視覺**任務中起很大的作用。2.引入了在表達的非線性轉換與乙個對抗損失，這種非線性轉換與損失函式能夠提公升可學習表達的質量。3. 相比與監督學習更大的batchsize與更多的訓練步驟對於對抗學習更加有用。**混合上邊介紹的三個發現，我們的在imagenet上實現的最優結果超過了目前最優的半監督與自監督學習方案。利用simclr得到的表達訓練乙個簡單的線性分類器在imagenet上可以得到76.5的top1正確率，這個結果超過了之前resnet50上的最優結果7%。我們使用1% 的label資料機型微調在imagenet上可以得到85.8的top5準確率，這使用了比alexnet少100倍的label資料。
總結說來**提出了三點：
資料增廣有很大的作用
提出了乙個非線性轉換
更多的訓練步驟與更大的batchsize對於對抗訓練的作用相較於有監督訓練更大
演算法的主要操作就是無監督的預訓練與有監督的微調實現自監督學習。
其中最主要的就是無監督的預訓練。採用資料增廣與非線性轉換與對抗損失函式。
資料增廣經過論證後證明採用隨機裁剪與色彩變換還有高斯隨機雜訊的配合能夠更加有效
在resnet50得到表達之後，採用帶有隱層的mlp網路進行非線性轉換
引入一種對抗損失函式。
這個公式類似於kl散度，分子表示同樣類別的相似性（這裡的同類別指的是同一張影象的資料增廣出來的影象），分母表示不同類別之間的相似性（表示不同影象增廣出來的資料樣本）。這裡的相似性度量採用cosine相似性。
另外的自監督學習文章
小哲：自監督學習修煉之mocov1與mocov2
小哲：自監督學習之simclrv2總結
自監督學習 對比學習自監督
關於bert的無監督聚類的一些說法 1.首先一點是在不finetune的情況下，cosine similairty絕對值沒有實際意義，bert pretrain計算的cosine similairty都是很大的，如果你直接以cosine similariy 0.5之類的閾值來判斷相似不相似那肯定效果...
9 無監督學習simclr中的資料增強
重新評估資料增強方式是simclr取得成功的關鍵之一,之前的文章設計了一系列複製的資料增強,我們發現只需要隨機裁剪就夠了 如圖3所示，它建立了一系列包含上述兩個任務的 性任務。資料增強操作的組成對於學習良好的表示形式至關重要 為了系統地研究資料擴充的影響，我們在這裡考慮幾種常見的擴充。一類擴充涉及資...
AI教父的自監督直覺 SimCLR
擋在大規模ai應用從ppt到gdp征途中的最大障礙 巨大的資料標註成本，是乙個棘手的問題。簡單如識別一張圖中是否有喵，就得動輒上萬張各種姿勢的喵圖外帶上萬張不是喵的圖餵給饕餮一樣的神經網路。這裡面的痛點就是你不僅要蒐集這些圖，還得劃分每張圖的種類，那如果要搞乙個能識別所有動物的機械人得花費多少心血。...