優化是應用數學的乙個分支，也是機器學習的核心組成部分。實際上：
機器學習演算法 = 模型表徵 + 模型評估 + 優化演算法其中，優化演算法起到的作用就是在模型表徵空間中找到模型評估指標最好的模型。
不同的模型表徵和模型評估通常使用著不同的優化演算法。因此，為了利用優化演算法來對模型進行優化，我們通常需要給出乙個模型的好壞的評估指標。該指標由於與模型的引數息息相關，因此通常表述為關於模型引數的函式，稱為損失函式，或者代價函式。
在機器學習中，損失函式、代價函式和目標函式有什麼區別？損失函式是用來評價模型的**值損失函式和代價函式是指同乙個東西，即評估模型**的結果和真實的結果的誤差；而目標函式則是與優化演算法相關的乙個函式，它指導著我們該如何去優化我們的模型，分為經驗風險最小化和結構風險最小化。
假設總共有
根據問題和模型的不同，常用的損失函式主要有以下幾種：
對於二分類問題，最直觀的想法是希望我們的模型
，則可以利用 0-1 損失函式來評估模型：
該損失函式能直觀地刻畫分類的錯誤率，但分類太過嚴格，如果真實值為 1，**值為 0.999，顯然該分類應該是乙個正確的分類，但上述定義則會判定為**錯誤。而且該函式是乙個非凸、非光滑的函式，使得演算法很難直接對該函式進行優化。因此 0-1 損失函式很少被應用到。
hinge 損失函式是基於 0-1 損失函式的乙個**損失函式：
注意，在 hinge 損失函式中，當
時，該函式不對其做任何懲罰。該損失函式的示意圖如下：
從上圖可以看出，hinge 損失函式在
處是不可導的，因此不能用梯度下降法來進行優化，而是需要用次梯度下降法。由於 hinge 損失函式常用於支援向量機模型當中，因此該部分的目標函式求導過程將在支援向量機文章中更新。
對於二分類問題，邏輯回歸函式是常用的學習模型。通過採用極大似然估計，並對似然函式取對數的方法，我們就能得到對於二分類問題的交叉損失函式，詳細推導過程見：
機器學習之邏輯回歸 - maple17 - www.cnblogs.com
交叉損失函式是 0-1 損失函式的凸上界，且處處光滑可導，因此可以十分方便地用梯度下降法來進行優化。
平方誤差損失函式常用於回歸問題中，其形式如下所示：
在實際的問題求解中，我們通常會考慮所有樣本點的平均誤差，即常用的均方差損失函式（mse）：
但需要注意的是該方法對異常點十分敏感，假設有 100 個樣本，其中對 99 個樣本點的**值與其對應的真實值都接近，但存在乙個樣本點的**值和真實值的差很大，則該損失函式的值也會很大。
絕對損失函式相當於是在做中值回歸，可以緩解平方誤差損失函式對異常值敏感的問題，其形式如下：
但是絕對損失函式在
處無法求導數。
huber 損失函式綜合考慮了可導性和對異常點的魯棒性，其形式如下：
score函式 機器學習 機器學習中的歸一化方法
在這裡主要討論兩種歸一化方法 1 線性函式歸一化 min max scaling 線性函式將原始資料線性化的方法轉換到 0 1 的範圍，歸一化公式如下 該方法實現對原始資料的等比例縮放，其中xnorm為歸一化後的資料，x為原始資料，xmax xmin分別為原始資料集的最大值和最小值。2 0均值標準化...
機器學習 機器學習目錄
注 後期有時間的話會對每乙個演算法進行講解。1 普通線性回歸 2 廣義線性模型 3 邏輯回歸 4 線性判定分析1 決策樹基本原理與構建 2 cart演算法 3 回歸決策樹 4 分類決策樹1 貝葉斯定理與樸素貝葉斯 2 高斯貝葉斯分類器 3 多項式貝葉斯分類器 4 伯努利貝葉斯分類器 5 遞增式學習1...
機器學習 機器學習概論
3 模型評估與模型選擇 4.具體應用 統計學習 是關於計算機基於 資料 構建概率統計模型並運用模型對資料進行 分析 統計學習的三要素 模型在監督學習中，模型就是所要學習的條件概率分布或決策函式。這在後面的章節中會重點介紹。策略 評價模型的標準 用損失函式和代價函式來度量 錯誤的程度。1 幾種損失函式...