常見損失函式記錄，主要是自己記一下公式，沒啥講解
最簡單的幾種，沒啥好說的
\[l(y, f(x))=(y-f(x))^ \\
l(y, f(x))=\left\ & \\ & \end\right.\\
l(y, f(x))=|y-f(x)|
\]來自svm
\[l(y, \tilde) = \max(0, 1-y\tilde), y=\pm 1
\]出自svm，也叫做svm loss，從數學表示式就可以看出不止要分類正確，還需要間隔最大化。
\[l(y, \tilde) = \max(0, 1-（\tilde_t - \tilde_k), y=\pm 1
\]其中的\(\tilde_t\)和\(\tilde_k\)分別是得分最高和第二高的兩個分量
標準形式
\[l(y, p(y | x))=-\log p(y | x)
\]\[l(y, \hat)=-\sum_i y_ilog(\hat_i)
\]對應one hot和單標籤則變為
\[l(y, \hat)=-log(\hat_t)
\]邏輯回歸中的形式(也可從極大似然角度和log loss角度推導）
\[l=-\left((y_i\log p_i)+(1-y_i)\log(1-p_i)\right)
\]
常見損失函式 損失函式選擇方法
神經網路的學習通過某個指標表示現在的狀態，然後以這個指標為基準，尋找最優權重引數，這個指標就是損失函式 loss function 如上介紹，神經網路損失函式 loss function 也叫目標函式 objective function 的作用 衡量神經網路的輸出與預期值之間的距離，以便控制 調節...
常見的損失函式
通常機器學習每乙個演算法中都會有乙個目標函式，演算法的求解過程是通過對這個目標函式優化的過程。在分類或者回歸問題中，通常使用損失函式 代價函式 作為其目標函式。損失函式用來評價模型的 值和真實值不一樣的程度，損失函式越好，通常模型的效能越好。不同的演算法使用的損失函式不一樣。損失函式分為經驗風險損失...
常見的損失函式
一 常見的損失函式 損失函式一般用來衡量 值和真實值之間的不一致程度。是乙個非負值，通常用l y,f x 來表示。1.0 1損失函式 結果和真實結果一致，則為0，不一致則為1.2.絕對值損失函式 真實值和 值差的絕對值。3.平方損失函式 4.指數損失函式 5.對數損失函式 6.合頁損失函式 t是 值...