參考：半監督學習理論及其研究進展概述。
根據發展歷程，半監督學習可分為三個階段：
早期的半監督學習是初步探索無標記樣本在傳統監督學習模型中的價值[1]，學習演算法多事對傳統演算法進行改進，通過在監督學習中加入無標記樣本來實現，這類演算法有最大似然分類器、貝葉斯分類器、多層感知器、支援向量機等。其中有較大影響力的有半監督支援向量機 (semi-supervised svm, s3vm )和協同訓練 (co-training)。
s3vm 的目標函式是在傳統的支援向量機目標函式基礎上， 增加了乙個包含無標記樣本的約束項來懲罰分類超平面穿過樣本密集區域的情況。
原始的求解難度大，不實用，後來joachims提出了基於標記切換的組合優化演算法，使演算法具有了實用意義。然後出現的演算法：半正定規劃演算法，凹凸過程，延續法，梯度下降，確定性退火。
協同訓練在自然語言處理中有著重要的應用。
[1] classification rules in the unknown mixture parameter case: relative value of labeled and unlabeled samples, 1994.
這個時期的半監督學習主要包括混合模型，偽標記或自訓練，圖論半監督學習，流形半監督學習等。
最優模型：圖論半監督學習
圖論半監督學習需要首先構建乙個圖，圖的節點集就是所有樣本集（ 包括標記樣本和無標記 樣 本），圖的邊是樣本兩兩間的相似性（ 通常使用高斯核函式作為相似性度量）， 然後把分類問題看作是類別資訊在圖上由標記節點向無標記節點的擴散或傳播過程。
驅動力：深度學習對海量標記樣本的需求
**[2]嘗試把圖論半監督學習中的拉普拉斯正則項引入到神經網路的目標函式中，對多層神經網路進行半監督訓練。
已有半監督深度學習演算法分類：無監督特徵學習類， 正則化約束類和生成式對抗網路類。
[2] deep learning via semi-supervised embedding, 2012
無監督特徵學習類演算法通常利用所有樣本（ 包含標記樣本和無標記樣本） 學習出樣本的隱特徵或隱含 變數表示，在此基礎上利用有監督分類器對無標記樣本所對應的隱特徵進行分類， 從而間接地對無標記樣本進行分類。
文獻[3]中採用疊加的生成模型來學習標記樣本和無標記樣本的隱變數並使用svm對學習的隱變數進行分類。
隨後文獻[4]中又對該演算法進行了拓展，採用lstm（long short-term memory）進行區域大小可變的文字特徵學習。
文獻[5]中把自編碼器（auto-en-coder）的編碼層和解碼層之間加入短路連線，然後使用分類器對自編碼器學習的特徵進行分類。
文獻 [6]中把自編碼器按順序拼接在一起，通過最小化這些自編碼器的重構誤差可以學習出序列資料的隱特徵。
[3] advances in neural information processing system，2014，kingma d p
[4] international conference on mach learning，2016
[5] advances in neural information processing system，2015, rasmus a
[6] advances in neural information processing system，2015, dai a m
正則化約束類演算法通常是在有監督神經網路的輸出層或者隱含層的目標函式中加入體現樣本分佈特性的正則化項， 用以在訓練中引入無標記樣本。
文獻[64]中把圖的拉普拉斯正則化項分別加入到網路輸出層的目標函式和中間隱含層的目標函式中，用來做半監督的分類和特徵學習。
文獻[72]中定義一組標準的隨機變換操作，然後定義網路目標函式包括兩個部分：監督學習損失函式為標記樣本多次隨機變換後的**差異，正則化項為無標記樣本多次通過網路**的結果差異，最後通過反向梯度傳播來最小化目標函式進行半監督深度學習。
文獻[75]中採用分類指示向量互斥原則對網路進行正則化，即所有樣本通過網路後輸出的類別向量中只有乙個為非0，這就迫使網路在訓練時對無標記樣本的分布進行學習並給出確定的類別。
[7] deep learning via semi-supervised embedding， 2012
[8] regularization with stochastic transformations and perturbations for deep semi-supervised learning，2016
[9] mutual exclusivity loss for semi-supervised deep learning，2016
生成式對抗網路通過讓生成器和判決器相互競爭達到平衡狀態來無監督地訓練網路。
文獻[89]中證明了在半監督學習情況下，乙個差的生成器能夠更有利於判決器進行半監督地學習，並以此為基礎對gan做了修改，通過最小化生成器真假樣本分佈的kl散度和最大化判決器的條件熵來交替訓練網路，效果改進明顯。
[10] good semi-supervised learning that requires a bad gan。 2017
半監督學習
一般認為,半監督學習的研究始於 b.shahshahani 和 d.landgrebe 的工作 shahshahanil94 但未標記示例的價值實際上早在上世紀 80 年代末就已經被一些研究者意識到了 lippman89 d.j.miller 和 h.s.uyar milleru97 認為,半監督學...
半監督學習
最近的一段時間一直在學習半監督學習演算法，目前，國內的南京大學周志華老師是這方面的泰斗，寫了很多這方面牛的文章，可以參考一下他的主頁 在國內的學術界周老師一直是我比較欽佩的人之一。下面貼出來的文章出自周老師之手，通俗易懂。受益匪淺。一般認為,半監督學習的研究始於 b.shahshahani 和 d....
半監督學習
目前，國內的南京大學周志華老師是這方面的泰斗，寫了很多這方面牛的文章，可以參考一下他的主頁 下面貼出來的文章出自周老師之手，通俗易懂。受益匪淺。一般認為,半監督學習的研究始於 b.shahshahani 和 d.landgrebe 的工作 shahshahanil94 但未標記示例的價值實際上早在上...