損失函式的意義和作用 理解SVM的損失函式

2021-10-11 16:03:21 字數 540 閱讀 6254

引言

最近了解到了svm這一部分的內容,因此想寫一篇關於svm的損失函式的文章,以加深了解。

損失函式(loss function)

在乙個分類問題不具有線性可分性時,使用超平面作為決策邊界會帶來分類損失,即部分支援向量不再位於間隔邊界上,而是進入了間隔邊界內部,或落入決策邊界的錯誤一側。損失函式可以對分類損失進行量化,其按數學意義可以得到的形式是0-1損失函式:

而 0-1損失函式不是連續函式,不利於優化問題的求解,因此通常的選擇是構造**損失(surrogate loss)。可用的選擇包括鉸鏈損失函式(hinge loss)、logistic損失函式(logistic loss)、和指數損失函式(exponential loss),其中svm使用的是鉸鏈損失函式:

對替代損失的相合性研究表明,當**損失是連續凸函式,並在任意取值下是0-1損失函式的上界,則求解**損失最小化所得結果也是0-1損失最小化的解 。

機器學習 如何理解svm的損失函式

是用來衡量乙個 器在對輸入資料進行分類 時的 壞。損失值越小,分類器的效果越好,越能反映輸入資料與輸出類別標籤的關係 雖然我們的模型有時候會過擬合 這是由於訓練資料被過度擬合,導致我們的模型失去了泛化能力 相反,損失值越大,我們需要花更多的精力來提公升模型的準確率。就引數化學習而言,這涉及到調整引數...

從理論上理解採用交叉熵作為損失函式的意義

簡要解釋為什麼要使用交叉熵作為損失函式。用簡短的話來解釋就是 我們需要得到最大似然估計,即模型得到的 分布應該與資料的實際分布情況盡可能相近。kl散度 相對熵 是用來衡量兩個概率分布之間的差異。模型需要得到最大似然估計,乘以負log以後就相當於求最小值,此時等價於求最小化kl散度 相對熵 所以得到k...

代價函式 損失函式 目標函式的理解

loss function 是定義在單個樣本上的,算的是乙個樣本的誤差。cost function 是定義在整個訓練集上的,是所有樣本誤差的平均,也就是損失函式的平均。object function 定義為 最終需要優化的函式。等於經驗風險 結構風險 也就是cost function 正則化項 代價...