深度學習中的損失函式

利用深度學習模型解決有監督問題時，如分類，回歸，去噪等，一般思路如下：

1 資訊流forward，直到輸出端

2 定義損失函式l(x,y|theta)

3 誤差訊號backpagation ，利用鏈式法則，求l(x，y|theta) 關於theta的梯度

4 利用最優化方法（例如隨機梯度下降）進行引數更新

5 重複3，4 直到收斂

在步驟2中，會見到多種損失函式：

均方誤差（error of mean square），最大似然誤差(maximum likelihood estimate) ，最大後驗概率，交叉熵，

(1) 均方誤差是一種較早的損失函式的定義方法，它衡量的是兩個分布對應維度的差異性之和，與它非常接近的是一種相似性度量標準"余弦角"，則衡量的是兩個分布整體的相似性，也就是把兩個向量分別作為乙個整體，計算出來的夾角作為其相似性大小的判斷依據。

(2）最大似然誤差是從概率的角度，求解出能完美擬合訓練樣例的模型引數theta ，使得概率p(y|x,theta) 最大化.

(3) 最大化後驗概率，即使概率p(theta |x,y) 最大化，實際上也等價於帶正則化項的最大似然概率。它考慮了先驗資訊，通過對引數值的大小進行約束來防止「過擬合」；

(4) 交叉熵損失函式：衡量的是兩個分布p，q 的相似性，在給定集合上兩個分布p和q的交叉熵的定義如下：

h（p，q) =ep[-logq)]=h(p)+dkl(p||q)

其中，h(p) 是p的熵，dkl(pq）為交叉熵，對於離散化的分布p和q，

在機器學習中，p 表示樣例的標籤的真實分布，為確定值，故最小化交叉熵和最小化l 是等價的，只不過之間相差了乙個常數，

值得一提的是：分類問題中，交叉熵的本質就是似然函式的最大化，

記帶標籤的樣例(x,y),其中x表示輸入特徵向量，y=[y1,y2,....,yc] 表示真實標籤的one-hot y_=[y1,y2,...,yc]表示模型輸出的分布，c 表示樣例輸出的類別數，那麼：

（1）對於二分類問題，p(x) =[1,0],q(x)=[y1,y2] ，y1=p(y=1|x) 表示模型輸出的真實概率，交叉熵h(p,q) =-(1*y1+0y2)=-y1,顯然此時交叉熵的最小化等價於似然函式的最大化：

（2）對於多分類問題，假設p(x) =[0,0,0,...,1,0,0] ,q(x)=[y1,y2,y3,....y(k+2)] ，即表示真實樣例標籤為第k 類。

yk=p(y=k|x) 表示模型輸出為第k類的概率，交叉熵h(p,q) =-（0*y1+0*y2+.....+1*yk+0*y(k+1)+0*y(k+2))=-yk ，此時同上。