Semi supervised半監督學習

在監督學習中：已知樣本來自c1 c2兩類，我們統計得到資料的先驗概率p(ci)和分類概率p(x|ci)，假設每類資料均服從高斯分布，則其均值分別為μ

若僅給定兩類有標籤資料那麼boundary為兩條紅線中的任一條均可(下圖)，但當加入無標籤資料時(綠圓)則左側boundary最優，因為low-density separation定義為交界處data密度最低則最合理。

過程：

思考：

若認為這樣的判斷過於武斷，則可採用下面高階的方法——基於熵的正則化

評估乙個模型的優劣：類別梯度明顯則為優，類別梯度都差不多則為劣。如圖：

引入熵概念：熵越小，該模型越好。據此假設即可重新設計loss function(下圖)，針對標籤資料即，使**標籤和正確標籤差距越小越好(如可使交叉熵估測)，針對無標籤資料則採用熵進行衡量，並且也可根據個人對於標籤資料/非標籤資料的偏好*權重 λ

'>λ

λ \lambda

λ，同時因為loss function可微分，所以訓練起來無障礙。

定性分析：

定量分析：

思想就是直指核心，具體內容下節課講。