監督學習的過程可以概括為：最小化誤差的同時規則化引數。最小化誤差是為了讓模型擬合訓練資料，規則化引數是為了防止過擬合。引數過多會導致模型複雜度上公升，產生過擬合，即訓練誤差很小，但測試誤差很大，這和監督學習的目標是相違背的。所以需要採取措施，保證模型盡量簡單的基礎上，最小化訓練誤差，使模型具有更好的泛化能力（即測試誤差也很小）。
範數規則化有兩個作用：
1）保證模型盡可能的簡單，避免過擬合。2）約束模型特性，加入一些先驗知識，例如稀疏、低秩等。
常見的選擇包括零範數，一範數，二範數：
l0: 向量中非0的元素個數，用他來規則化矩陣，希望大部分元素為
0.很難優化求解 l1
：向量中各個元素絕對值之和，又叫」係數規則運算元（lasso regularization）「，可以特徵選擇，引數以絕對值坡至零 l2
：向量各個元素的平方和然後平方根，也稱為嶺回歸（ridge regression）。可以防止過擬合，引數以二次函式下降
在logistic regression 中,
如果同時加入l1和
l2範數
,會產生效果：可以做特徵選擇
,並在一定程度上防止過擬合
機器學習中的範數規則化
機器學習中的範數規則化之 一 l0 l1與l2範數 l1範數是指向量中各個元素絕對值之和，也有個美稱叫 稀疏規則運算元 lasso regularization 現在我們來分析下這個價值乙個億的問題 為什麼l1範數會使權值稀疏？有人可能會這樣給你回答 它是l0範數的最優凸近似 實際上，還存在乙個更美...
機器學習中的範數規則化
在深度學習中，監督類學習問題其實就是在規則化引數同時最小化誤差。最小化誤差目的是讓模型擬合訓練資料，而規則化引數的目的是防止模型過分擬合訓練資料。引數太多，會導致模型複雜度上公升，容易過擬合，也就是訓練誤差小，測試誤差大。因此，我們需要保證模型足夠簡單，並在此基礎上訓練誤差小，這樣訓練得到的引數才能...
監督學習以及規則化的作用
監督機器學習問題無非就是 minimizeyour error while regularizing your parameters 也就是在規則化引數的同時最小化誤差。最小化誤差是為了讓我們的模型擬合我們的訓練資料，而規則化引數是防止我們的模型過分擬合我們的訓練資料。多麼簡約的哲學啊！因為引數太多...