半監督學習

在訓練階段結合了大量未標記的資料和少量標籤資料。與使用所有標籤資料的模型相比，使用訓練集的訓練模型在訓練時更為準確，而且訓練成本更低。如何綜合利用已標籤例子和未標籤例子，是半監督學習需要解決的問題。

1.self-training algorithm(自訓練演算法)

這個是最早提出的一種研究半監督學習的演算法，也是一種最簡單的半監督學習演算法．

2.multi-view algorithm(多視角演算法)

一般多用於可以進行自然特徵**的資料集中．考慮特殊情況（每個資料點表徵兩個特徵）：每乙個資料點看成是兩個特徵的集合，然後利用協同訓練(co-training algorithm)進行處理．協同訓練（co-training）演算法，此類演算法隱含地利用了聚類假設或流形假設，它們使用兩個或多個學習器，在學習過程中，這些學習器挑選若干個置信度高的未標記示例進行相互標記，從而使得模型得以更新。

3.generative models(生成模型)

以生成式模型為分類器，將未標記示例屬於每個類別的概率視為一組缺失引數，然後採用em演算法來進行標記估計和模型引數估計，此類演算法可以看成是在少量有標記示例周圍進行聚類，是早期直接採用聚類假設的做法。em演算法的貪心本質使其容易陷入區域性極值，因此演算法對初始值的選擇具有很強的依賴性．常用的解決方法是採用多組初值進行重複運算，並從中選擇最好的一組解，或者通過複雜的優化演算法(如**合併em演算法)獲取引數的優化解．這些做法儘管降低了對初始值選擇的敏感性，但卻引入了過多的運算負擔。

具體演算法這裡不說，我這裡只說一下生成模型（generative models）和判別模型（discriminative models）的區別．

對於分類和聚類問題而言．①判別模型只關心類的決定邊界在**；生成模型關心的是類本身而非決定邊界．②判別模型只能判定資料點屬於哪個類別，無法將過程描述出來；生成模型可以將過程描述．③生成模型可以得到判別模型；判別模型推不出生成模型．④判別模型估計的是條件概率分布（conditional distribution）；生成模型估計的是聯合概率分布（joint probability distribution）．

常見的判別模型有：linear discriminate analysis, support vector machines, boosting, conditional random fields, logistic regression.

常見的生成模型有：gaussian distribution, gaussian mixture model, multinomial distribution, hidden markov model, na?ve bayes, latent dirichlet allocation.

4.transductive svm(轉導svm)

強調一點，根據vapnik的statistical learning theory中提出統計學習中考慮兩種不同型別的推理：歸納推理（inductive inference）和轉導推理(transductive inference)．轉導推理的目的是估計某一未知**函式在給定興趣點上的值（而不是在該函式的全部定義域上的值）．關鍵是，通過求解要求較低的問題，可以得到更精確的解．

傳統的推理方法是歸納－演繹方法，人們首先根據用已有的資訊定義乙個一般規則，然後用這個規則來推斷所需要的答案．也就是說，首先從特殊到一般，然後從一般到特殊．但是在轉導模式中，我們進行直接的從特殊到特殊的推理，避免了推理中的不適定部分．

5.graph-based algorithms(基於圖的演算法)

是基於圖正則化框架的半監督學習演算法，此類演算法直接或間接地利用了流形假設，它們通常先根據訓練例及某種相似度度量建立乙個圖，圖中結點對應了（有標記或未標記）示例，邊為示例間的相似度，然後，定義所需優化的目標函式並使用決策函式在圖上的光滑性作為正則化項來求取最優模型引數

半監督學習

半監督學習

半監督學習

半監督學習

相關推薦