監督機器學習問題無非就是「minimizeyour error while regularizing your parameters」，也就是在規則化引數的同時最小化誤差。
最小化誤差是為了讓我們的模型擬合我們的訓練資料，而規則化引數是防止我們的模型過分擬合我們的訓練資料。多麼簡約的哲學啊！因為引數太多，會導致我們的模型複雜度上公升，容易過擬合，也就是我們的訓練誤差會很小。但訓練誤差小並不是我們的最終目標，我們的目標是希望模型的測試誤差小，也就是能準確的**新的樣本。所以，我們需要保證模型「簡單」的基礎上最小化訓練誤差，這樣得到的引數才具有好的泛化效能（也就是測試誤差也小），而模型「簡單」就是通過規則函式來實現的。
另外，規則項的使用還可以約束我們的模型的特性。這樣就可以將人對這個模型的先驗知識融入到模型的學習當中，強行地讓學習到的模型具有人想要的特性，例如稀疏、低秩、平滑等等。
規則化符合奧卡姆剃刀(occam』s razor)原理：在所有可能選擇的模型中，我們應該選擇能夠很好地解釋已知資料並且有很好的**力的簡單的模型。
從貝葉斯估計的角度來看，規則化項對應於模型的先驗概率。規則化是結構風險最小化策略的實現，是在經驗風險上加乙個正則化項(regularizer)或懲罰項(penalty term)。
更多資料：
機器學習中的有監督學習，無監督學習，半監督學習
在機器學習 machine learning 領域，主要有三類不同的學習方法 監督學習 supervised learning 非監督學習 unsupervised learning 半監督學習 semi supervised learning 監督學習 通過已有的一部分輸入資料與輸出資料之間的對應...
有監督學習 無監督學習和半監督學習的區別
1 特徵 feature 資料的特徵。舉例 書的內容 2 標籤 label 資料的標籤。舉例 書屬於的類別，例如 計算機 圖形學 英文書 教材 等。舉例 把很多書交給乙個學生，培養他給書本分類的能力。4 分類 classification 定性輸出稱為分類，或者說是離散變數 舉例 明天是陰 晴還是雨...
監督學習語無監督學習的區別
監督學習關注對事物的未知表現 一般包括分類問題和回歸問題 無監督學習則傾向於對事物本身特性的分析，常用的技術包括資料降維 通常來說是pca,但實際上lda是屬於一種降維的2分類問題，但是不屬於無監督學習 和聚類問題等。分類問題，對其所有的類別進行 類別即是離散的，同時也是預先知道數量的。回歸問題是 ...