支援向量機（svm）是90 年代中期發展起來的基於統計學習理論的一種機器學習方法，通過尋求結構化風險最小來提高學習機泛化能力，實現經驗風險和置信範圍的最小化，從而達到在統計樣本量較少的情況下，亦能獲得良好統計規律的目的。
這裡說到的風險就是損失函式，下面讓我們來一起了解以下svm的損失函式。
1.hinge損失函式
hinge損失函式又稱合頁損失函式（hinge loss function）
下標」+」表示以下取正值的函式，我們用z表示中括號中的部分：
也就是說，資料點如果被正確分類，損失為0，如果沒有被正確分類，損失為z。
合頁損失函式如下圖所示：
2.svm損失函式
svm的損失函式就是合頁損失函式加上正則化項：
svm損失函式
svm 支援向量機 和softmax的區別在於損失函式的不同，用公式可以描述為 其中 syi 表示真實類別的得分，sj 表示其他類別的得分。表示為邊界值，li 表示某輸入影象的損失值 根據損失函式做如下討論 1.如果在累加時去掉j yij yi 的條件，是否可行？答案顯而易見，不可行。這樣損失值永遠...
SVM 合頁損失函式
svm的損失函式是什麼？怎麼理解 在學習支援向量機的過程中，我們知道其損失函式為合頁損失函式。至於為什麼叫這個名字，李航老師的 統計學習方法 上是這麼說的 由於函式形狀像乙個合頁，故命合頁損失函式。下圖為合頁損失函式的影象 取自 統計學習方法 橫軸表示函式間隔，我們從兩個方面來理解函式間隔 1 正負...
svm 合頁損失
橫軸表示函式間隔，我們從兩個方面來理解函式間隔 1 正負 當樣本被正確分類時，y wx b 0 當樣本被錯誤分類時，y wx b 0。2 大小 y wx b 的絕對值代表樣本距離決策邊界的遠近程度。y wx b 的絕對值越大，表示樣本距離決策邊界越遠。因此，我們可以知道 當y wx b 0時，y w...