是用來衡量乙個**器在對輸入資料進行分類**時的***壞。損失值越小，分類器的效果越好，越能反映輸入資料與輸出類別標籤的關係（雖然我們的模型有時候會過擬合——這是由於訓練資料被過度擬合，導致我們的模型失去了泛化能力）。
相反，損失值越大，我們需要花更多的精力來提公升模型的準確率。就引數化學習而言，這涉及到調整引數，比如需要調節權重矩陣w或偏置向量b，以提高分類的精度。
svm通常使用hinge loss在二分類情況下，鉸鏈函式公式如下：
l(y) = max(0 , 1 – t⋅y)
其中，y是**值(-1到1之間)，t為目標值(1或 -1)。其含義為：y的值在 -1到1之間即可，並不鼓勵 |y|>1，即讓某個樣本能夠正確分類就可以了，不鼓勵分類器過度自信，當樣本與分割線的距離超過1時並不會有任何獎勵。目的在於使分類器更專注於整體的分類誤差。
多分類時，具體的實現為：假設已知的一組會有n個分類，選取training data 裡的第i組資料x,以及已知它的實際標籤為yi.根據權重w，偏差b，和原始資料x計算出結果si=(維數為：nx1),
用計算正確類的**值，和其他類的**值之間的差距，如果正確類的**值大於所有不正確的**值則損失函式為0，證明當前的w和b所計算得到的效果很好。
當把損失值推廣到整個訓練資料集，則應為：
示例：
第一張的損失值：
第二張的損失值：
第三張的損失值：
整體損失值：
損失函式的意義和作用 理解SVM的損失函式
引言 最近了解到了svm這一部分的內容，因此想寫一篇關於svm的損失函式的文章，以加深了解。損失函式 loss function 在乙個分類問題不具有線性可分性時，使用超平面作為決策邊界會帶來分類損失，即部分支援向量不再位於間隔邊界上，而是進入了間隔邊界內部，或落入決策邊界的錯誤一側。損失函式可以對...
機器學習 機器學習中的損失函式
在機器學習中，損失函式是用來衡量 結果與實際值之間差別大小的指標。一般的損失函式有5五種 l m 01ifm 0ifm 0 主要用於maximum margin的分類演算法，如svm演算法。hinge損失函式的描述如下式 l y max 0 1 t y 這裡t 1 or 1 y是 值，而t 是實際真...
機器學習 支援向量機SVM演算法理解
svm演算法理解 svm support vector machines 可翻譯為支援向量機，是基於支援向量來訓練乙個模型，得到模型後，能夠根據訓練好的模型來進行新輸入向量的類別 因為深度學習中 影象處理 的神經網路最後輸出時會將影象資料的特徵作為乙個1 n的向量進行輸出，所以可以使用svm進行分類...