一.無監督
1.傳統的機器學習無監督
機器學習無監督
目前網上介紹的無監督學習，主要是機器學習方向，以聚類和降維為主，不太適用目前工程專案.
2.深度學習無監督
待補坑
二.自監督學習
自監督思考
無監督特徵學習
自監督學習屬於無監督學習,在深度學習中，經常遇到的問題是沒有足夠的標記資料，而手工標記資料耗費大量時間且人工成本高昂。基於此，自我監督學習成為深度學習的研究熱點，旨在從未標記樣本中進行學習，以緩解資料標註困難的問題。自監督學習主要是利用輔助任務（pretext）從大規模的無監督資料中挖掘自身的監督資訊，通過這種構造的監督資訊對網路進行訓練，從而可以學習到對下游任務有價值的表徵。自監督學習的目標很簡單，即訓練乙個模型使得相似的樣本具有相似的表示，然而具體實現卻困難重重。經過谷歌這樣的諸多先驅者若干年的研究，自監督學習如今已取得一系列的進步與發展。
如何定義自監督學習？
自監督學習是指用於機器學習的標註（ground truth）源於資料本身，而非來自人工標註。
自監督學習首先屬於無監督學習，因此其學習的目標無需人工標註。其次，目前的自監督學習領域可大致分為兩個分支。
第乙個是用於解決特定任務的自監督學習，例如場景去遮擋，以及自監督的深度估計、光流估計、影象關聯點匹配等。
另乙個分支則用於表徵學習。有監督的表徵學習，乙個典型的例子是 imagenet 分類。而無監督的表徵學習中，最主要的方法則是自監督學習。自監督目前是國內大廠主要研究的乙個方向,目前主要是谷歌,facebook,deepmind,自監督表徵學習分兩部分,一類是對比學習,需要負樣本,如方法npid/moco/moco v2/infomin,一類是不需要負樣本的byol.
自監督分類
xingneng
一般自監督表徵學習可以做特徵提取和影象分類,影象分類linear evaluation具體來說就是固定 unsupervised learning 得到的模型, 然後在上面接乙個全連線層, 在訓練集上面進行 supervised learning 的訓練,二是semi-supervised training首先用 unsupervised learning 得到的模型當做初始化, 然後用 supervised learning 的方式 finetune 整個網路, 但是在 fine-tune 的時候只用整個資料集的一小部分.
byol後接的討論
1.商湯和香港中文大學
openselfsup,open-mmlab自監督表徵學習
**庫介紹鏈結
**鏈結
自監督中其中比較有名的演算法:
①byol：bootstrap your own latent
openselfsup中包含的演算法
討論**
介紹鏈結
②谷歌simclr
**鏈結
三.其他
①自監督用於模糊轉清晰,號稱速度5s,未來可能有一定的應用前景.
模糊轉清晰介紹
**鏈結
②異常檢測,目前測試效果不理想,可以再朝這個方向探索一下.
介紹鏈結
**鏈結
四.名詞解釋
無監督對比學習contrastive learning
有監督與無監督
機器學習分為 監督學習，無監督學習，半監督學習 也可以用hinton所說的強化學習 等。簡單的歸納就是，是否有監督 supervised 就看輸入資料是否有標籤 label 輸入資料有標籤，則為有監督學習 沒標籤則為無監督學習。有監督和無監督中間包含的一種學習演算法是半監督學習 semi super...
無監督演算法
無監督演算法 kmeans演算法 1 隨機初始化資料集簇的中心，一般從資料集中選擇 2 外迴圈 內迴圈 計算各個數值點到中心的距離，進行聚類 計算每個聚類的平局值，移動聚類中心 pca演算法 目標 資料壓縮和視覺化 1 對樣本資料進行去均值和歸一化 2 組建sigma矩陣，然後進行奇異值分解，求的壓...
NLP 監督 半監督 無監督學習
概念 有監督學習 訓練資料既有特徵 feature 又有標籤 label 通過訓練，讓機器可以自己找到特徵和標籤之間的聯絡，在面對只有特徵沒有標籤的資料時，可以判斷出標籤。無監督學習 unsupervised learning 訓練樣本的標記資訊未知，目標是通過對無標記訓練樣本的學習來揭示資料的內在...