此篇文章主要針對tikhonov正則化初學者了解tikhonov泛函是怎樣給出的以及解的推導。
首先我們先給出tikhonov正則化方法
我們在學習研究反問題和正則化的文章時，往往會直接給出如上定理，但tikhonov泛函和解的給出並沒有作過多解釋，因此，接下來的內容主要是推導和理解以上內容。
我們在解決如ax=y的線性運算元方程時，通常採用經典的最小二乘法估計，但是這種方法會導致過擬合或者產生方程的欠定解。解決過擬合的一種方法就是正則化方法。
最小二乘法：最小二乘法的原則是以「殘差平方和最小」確定直線位置。
過擬合：過度擬合的問題通常發生在變數過多的時候。這種情況下訓練出的方程總是能很好的擬合訓練資料。但是，這樣的曲線千方百計的去擬合訓練資料，導致它無法泛化（模型能夠應用到新樣本的能力）到新的資料樣本中，以至於無法**新樣本。
懲罰項：所謂『懲罰』是指對損失函式中的某些引數做一些限制。引入正則化項之後，會提高抗干擾能力，提高泛化能力。
得到tikhonov泛函後，只需要求解使泛函最小值成立的x即可。
通過微分求解，得到的逼近式結果同上面的（2.8）結果相同。
L1正則化和L2正則化
為了降低過擬合風險，需要控制模型複雜度，自然想到減少引數個數，但是這個問題不易直接解決，可以通過放寬條件控制。新增優化條件 這會使引數條件空間有明顯的凸角，這些突出點顯然會成為聯合優化時的最優解，但同時這些這些凸點中又會有較多的0值 由其限制條件可見，凸點都在座標軸上 因此l1範數會更易得到稀疏解，...
L1正則化和L2正則化
l1標準化與l2標準化 參考 l1 l2標準化及其python 實現 我們知道，正則化的目的是限制引數過多或者過大，避免模型更加複雜。l1 與 l2 解的稀疏性 以二維情況討論，上圖左邊是 l2 正則化，右邊是 l1 正則化。從另乙個方面來看，滿足正則化條件，實際上是求解藍色區域與黃色區域的交點，即...
L1正則化和L2正則化
摘自 深度學習 l1正則化和l2正則化 在機器學習中，我們非常關心模型的 能力，即模型在新資料上的表現，而不希望過擬合現象的的發生，我們通常使用正則化 regularization 技術來防止過擬合情況。正則化是機器學習中通過顯式的控制模型複雜度來避免模型過擬合 確保泛化能力的一種有效方式。如果將模...