首先來看一下什麼是正則性，正則性其實衡量的是函式的可導程度，正則性越高，函式可導的階數就越大。
然後來看一下為什麼要正則化：正則化主要用於解決過擬合問題，提高模型的泛化能力。
而解決過擬合的常用方法就有減少樣本數量和採取正則化。
那為什麼正則化可以解決過擬合問題呢？因為它會自動削弱不重要的特徵變數，提取重要的特徵，減小數量級。對自變數或特徵的係數引數進行懲罰，令某些特徵或引數（權值係數）接近於零。
魯棒性：抗干擾能力
神經網路的稀疏性解釋：輸出接近於1認為被啟用，接近於0被抑制，使神經元大部分時間被抑制的限制被稱為稀疏性限制。
歸一化的作用：提高收斂速度。
機器學習常用術語
機器學習作為人工智慧的乙個重要領域，我們有必要對其基本術語有清晰的理解 2 空間 就是表示 可能存在的取值 比如模型空間就是表示 所有可能的模型的取值 引數空間 表示 所有可能的引數 樣本空間表示 所有可能的樣本 3 樣本 是指資料集中的每一條單獨的資料。如沒有說明，會預設資料集中有n個樣本，用符號...
機器學習常用術語
泛化能力，過擬合，欠擬合，效能度量 泛化能力指的是機器學習演算法對新鮮樣本的適應能力。機器能從訓練樣本中學到適用於所有潛在樣本的普遍規律，在遇到新樣本中能做出正確判別的能力 把樣本中的一些雜訊特性也學習下來了，泛化能力差 比如決策樹演算法中，id3演算法中的編號會被該演算法認為是資訊增益最大的屬性，...
機器學習常用術語
機器學習作為人工智慧的乙個重要領域，我們有必要對其基本術語有清晰的理解 2 空間 就是表示 可能存在的取值 比如模型空間就是表示 所有可能的模型的取值 引數空間 表示 所有可能的引數 樣本空間表示 所有可能的樣本 3 樣本 是指資料集中的每一條單獨的資料。如沒有說明，會預設資料集中有n個樣本，用符號...