最近在看deeplearning 那本書，介紹了一些正則化的東西，下面就做乙個簡單的記錄
從深度學習的角度來進行解釋
我們在使用深度神經網路的時候，或者是在進行機器學習的損失函式的求解的時候總是會遇到需要增加乙個正則化項的操作
這個正則化的專案，在周志華的老師的書中曾經提到過，就是用來增加偏好的，也可以看做是對與求解的約束行為，但是正則化的作用還有很多，形式也是有很多
1,在進行學習的時候經常會遇到資料過擬合的問題，通過增加正則化項來減少泛化誤差
常用的有l1，l2正規化。l1正規化是一種稀疏化的正規化，l2正規化在計算上的凸優化會好於l1正規化。
2在進行偏好的設計時，先驗的與正則化的異同
在計算時，兩者的形式基本上是一樣的，但是所表徵的意義，與所能取值是不同的。
正則化要求非負的項，而先驗概率則要滿足概率的性質。
正則化必先驗計算更具有一般化。
深度的網路可以看做是前一層的資料是後一層資料的先驗值。
3.在對資料集加雜訊的過程也可以轉化為一種正則化的行為
且在書中作者介紹了兩種加雜訊的方式：1.輸入加雜訊，2是對與權值進行加雜訊。
在神經網路中的dropout可以看做是正則化。
bagging 與ensemble方法也是以後總特殊的含有正則化的模型
最後，正則化主要是嘉慶網路的泛化的能力，（可以將一切的引數約束都看做是正則化）
通過增加biase減少variance
參考書目
deep learning 2015 10 bengio
機器學習中的正則化
正則化 regularization 是機器學習中進行模型選擇的典型方法。正則化是模型損失函式結構風險最小化策略的實現，是在經驗風險上加乙個正則化項 regularized item 或罰項 penalty term 正則化項一般是模型複雜度的單調遞增函式，模型越複雜，正則化值就越大。比如，正則化項...
機器學習中的正則化
簡單來說，正則化是一種為了減小測試誤差的行為 有時候會增加訓練誤差 我們在構造機器學習模型時，最終目的是讓模型在面對新資料的時候，可以有很好的表現。當你用比較複雜的模型比如神經網路，去擬合資料時，很容易出現過擬合現象 訓練集表現很好，測試集表現較差 這會導致模型的泛化能力下降，這時候，我們就需要使用...
機器學習簡介
機器學習簡介 機器學習是人工智慧的乙個分支。人工智慧的研究是從以 推理 為重點到以 知識 為重點，再到以 學習 為重點，一條自然 清晰的脈絡。顯然，機器學習是實現人工智慧的乙個途徑，即以機器學習為手段解決人工智慧中的問題。機器學習在近30多年已發展為一門多領域交叉學科，涉及概率論 統計學 逼近論 凸...