正則化是結構風險最小化的實現策略，形式是在經驗風險最小化的後面加上正則項。（正則項一般是模型複雜度的單調遞增函式，模型越複雜，正則項的值越大）。
損失函式一般有一下幾種：
1. 0-1損失函式（感知機）
但一般情況下絕對相等比較困難，因此一般設定乙個閾值，滿足一定條件時即認為相等。
2. 絕對值損失函式
3. 對數損失函式（邏輯回歸）
對數損失函式的有乙個前提假設：即樣本服從伯努利分布
4. 平方損失函式（回歸問題）
回歸的問題轉化為了凸優化的問題。最小二乘法的基本原則是：最優擬合曲線應該使得所有點到回歸直線的距離和最小。通常用歐式距離進行距離的度量。平方損失的損失函式為：
5. 指數損失函式（adaboost）
6. hinge損失函式（主用於最大間隔分類，svm）
一般機器學習任務有分類問題與回歸問題，二者的損失函式不相同。
分類問題中模型輸出經過softmax輸出結果為**概率，而回歸問題得到的結果為**數值。
過擬合與欠擬合：
正則化：
說到正則化需要先知道為什麼要引入正則化？
模型訓練過程中，往往為了追求損失函式最小化會導致模型複雜度過高，這樣生成的模型泛化能力不好，訓練集的準確率較高，而驗證集的準確率較低，形成過擬合現象。為了避免這種情況發生，減小模型複雜度的同時，使損失函式盡量降低，在經驗風險後面新增了懲罰函式，也就是所謂的正則項。
一般常使用的正則化技術包括：l1正則化與l2正則化。
其中l1正則化可以產生稀疏權值矩陣，構建稀疏模型，可以用於特徵篩選，在一定程度上可以防止過擬合；l2正則化則可以防止模型過擬合。
對於l1正則化，l2正則化，個人覺得（正則化項l1和l2的直觀理解）講的較為詳細，本文正則化部分以此作為參考。
《機器學習》筆記 2 模型的損失函式與正則化
度量模型一次 的好壞 l y，f x 度量平均意義下的模型 的好壞，即損失函式的期望。關於 聯行分布的期望，未知，無法直接計算 模型關於訓練資料集的平均損失，當樣本容量n 經驗風險趨於期望風險。經驗風險最小化，保證模型有很好的學習效果。為防止過擬合而提出，在經驗風險的基礎上加上了正則化項或罰項。結構...
機器學習中的損失函式
監督學習問題是在假設空間中選取模型作為決策函式，對於給定的輸入x，由f x 給出對應的輸出y，這個輸出的 值可能與真實值一致或不一致，可以用損失函式 loss function 或代價函式 cost function 來度量 錯誤的程度。f x 1,y f x 0,y f x f x 1 y f x...
機器學習 機器學習中的損失函式
在機器學習中，損失函式是用來衡量 結果與實際值之間差別大小的指標。一般的損失函式有5五種 l m 01ifm 0ifm 0 主要用於maximum margin的分類演算法，如svm演算法。hinge損失函式的描述如下式 l y max 0 1 t y 這裡t 1 or 1 y是 值，而t 是實際真...