正則的引入：正則性衡量函式光滑(可導)，正則項則是為了使函式可導而引入的補項。這裡的可導可以引申為通過正則項的引入使得非適定問題變為適定問題。（如果按照實際的條件進行求解，函式將出現無窮解現象。當正則項引入時（加入bv範數），函式就變成了可求解函式了。）
這裡對適定問題定義：1.問題的解存在且唯一；2.定解約束的改變相對較小時，解的改變也相對較小。
在機器學習中，正則項的引入是為了解決過擬合問題（overfitting）
網上這類文章會有很多，這裡不做詳細論述。
一般的正則項都會在前面有乙個設定的係數，該係數的目的主要是為了體現解的可信度，當該係數過小時，正則項的引入約束力較小，起到的約束作用較小，在約束較小時的結果其可信度較差。當我們的係數增大時，正則項所起的作用也就隨之增大。我們求得的解的也更接近我們所設約束下的最優解。
正則項的應用（此處不針對深度學習進行闡述）
1.先驗估計：通過正則項的引入，將先驗（例如：通過某種方法可以初步估計的結果）做為約束條件，進行函式求解
2.求解奇異矩陣（不為滿秩，也就是所推導的的等式個數小於不等式個數。例如：你要求x，y，z。你只給出了x+y=4；y+z=6，這樣你是求解不出來特定解的，這樣會造成無窮多解。）引入正則項等同於引入了求解方程所需的其他等式關係。
在求解ax=b時，便可應用此方法
矩陣a的條件數：cond(a)=‖a‖·‖a^(-1)‖，等於它的範數*a的逆的範數。當矩陣a的條件數越大時，矩陣越病態（病態表示矩陣對於誤差的敏感度較大，也就是矩陣對於擾動的魯棒性較差，收到外界干擾，原穩定系統就不能再處於穩定狀態）。由於矩陣存在三種範數，因此條件數也有三種。當條件數較小時，矩陣a的改變和b的改變對所求的x的影響就是相對較小的。正規陣在
二範數下的條件數就可以表示成 abs(最大特徵值/最小特徵值)。這裡的範數是對應了矩陣的大小，我們一般用範數來衡量乙個矩陣和乙個向量的大小。
（1）《非線性數值分析的理論與方法》，黃象鼎等著，武漢大學出版社，2023年9月。
caffe設定正則化項
caffe提供了兩種正則化，l1和l2，其中l2正則化項是預設存在的，在caffe.proto中可以找到，如下 regularization types supported l1 and l2 controlled by weight decay optional string regulariza...
caffe設定正則化項
caffe提供了兩種正則化，l1和l2，其中l2正則化項是預設存在的，在caffe.proto中可以找到，如下 regularization types supported l1 and l2 controlled by weight decay optional string regulariza...
keras搬磚系列 正則項
正則項在優化的過程中層的引數或者層的啟用值新增懲罰項，這些懲罰項將與損失函式一起作為網路的最終優化目標。懲罰項是對層進行懲罰，目前懲罰項的介面與層有關。主要由 kernel regularizer 施加在權重上的正則項，為keras.regularizer.regularizer物件 bias re...