自監督學習定義：
自監督學習主要是利用輔助任務從大規模的無監督資料中挖掘自身的監督資訊來提高學習表徵的質量，通過這種構造監督資訊對網路進行訓練，從而可以學習到對下游任務具有價值的表徵。
輔助任務（pretext）：
可以認為是一種為達到特定訓練任務而設計的間接任務。pretext任務的好處是為了簡化原任務的求解，在深度學習中就是避免人工標記樣本，實現無監督的語義提取。pretext任務可以進一步理解為：對目標任務有幫助的輔助任務。主要pretext task包括：影象旋轉、影象著色、影象修復。
下游任務：影象分類、目標檢測等等等
對比學習：
自監督學習演算法分為兩種：對比方法和生成方法。對比學習屬於自監督學習，所以對比學習是沒有標籤的。對比學習是通過構造正負樣例來學習特徵。如何構造正負樣例對對比學習來說很重要。對於乙個輸入樣本x來說，存在與之相似的樣本x+以及與之不相似的樣本x-，對比學習要做的就是學習乙個編碼器f，這個編碼器f能夠拉近x與其正樣本間的距離，推遠x與其負樣本之間的距離。
自監督學習 對比學習自監督
關於bert的無監督聚類的一些說法 1.首先一點是在不finetune的情況下，cosine similairty絕對值沒有實際意義，bert pretrain計算的cosine similairty都是很大的，如果你直接以cosine similariy 0.5之類的閾值來判斷相似不相似那肯定效果...
和 對比 對比自監督學習
編譯 ronghuaiyang 對比自監督學習 mp.weixin.qq.com 利用資料本身為演算法提供監督。對比自監督學習技術是一種很有前途的方法，它通過學習對使兩種事物相似或不同的東西進行編碼來構建表示。自監督方法將取代深度學習中佔主導地位的直接監督正規化的預言已經存在了相當一段時間。alyo...
監督學習和無監督學習 監督學習與非監督學習
監督學習 supervised learning 的任務是學習乙個模型，使模型能夠對任意給定的輸入，對其相應的輸出做出乙個好的 即 利用訓練資料集學習乙個模型，再用模型對測試樣本集進行 例如kaggle上的鐵達尼號比賽。官方提供旅客資料 資料集1 姓名，年齡，性別，社會經濟階層，是否生存等 要求參賽...