合頁損失函式：是一種帶有置信度的損失函式。
ps：可滿足性比較容易達到。
ps：用svm的置信區間來進行比較。
它的通用表示式為：
帶有軟間隔的線性svm，它最初的損失函式：
經過約束變形得到：
函式進一步可寫為：
進一步：svm的損失函式可以看為l2正則項和合頁損失函式之和！
ps：直接對合頁損失進行優化很難，所以svm是轉化為有約束的最優化問題，通過引入拉格朗日乘子來解決！
二分類問題對應log損失函式，多分類問題對應交叉熵損失。
ps：log損失是直接對二分類問題，假設樣本服從兩點分布，利用極大似然估計建模，得到log損失。
ps：交叉熵損失
ps：不管是log還是交叉熵損失都具有不滿足性，就是損失很難達到0。
ps：交叉熵求導後和均方誤差的形式一樣，當分類的誤差越大那麼收斂越快，分類的誤差越小收斂會慢下來。
合頁損失是可滿足的當樣本分類滿足置信區間時就沒有損失，而交叉熵損失是不可滿足的，總是會有損失值。
最大似然損失和交叉熵損失函式的聯絡
在利用深度學習模型解決有監督問題時，比如分類 回歸 去噪等，我們一般的思路如下 資訊流forward propagation，直到輸出端 定義損失函式l x,y theta 誤差訊號back propagation。採用數學理論中的 鏈式法則 求l x,y theta 關於引數theta的梯度 利用...
交叉熵損失函式 交叉熵損失函式和均方差損失函式引出
交叉熵 均方差損失函式，加正則項的損失函式，線性回歸 嶺回歸 lasso回歸等回歸問題，邏輯回歸，感知機等分類問題 經驗風險 結構風險，極大似然估計 拉普拉斯平滑估計 最大後驗概率估計 貝葉斯估計，貝葉斯公式，頻率學派 貝葉斯學派，概率 統計 記錄被這些各種概念困擾的我，今天終於理出了一些頭緒。概率...
交叉熵損失函式
公式 分類問題中，我們通常使用 交叉熵來做損失函式，在網路的後面 接上一層softmax 將數值 score 轉換成概率。如果是二分類問題，我們通常使用sigmod函式 2.為什麼使用交叉熵損失函式？如果分類問題使用 mse 均方誤差 的方式，在輸出概率接近0 或者 接近1的時候，偏導數非常的小，學...