請檢視以下泛化曲線，該曲線顯示的是訓練集和驗證集相對於訓練迭代次數的損失。
上圖顯示的是某個模型的訓練損失逐漸減少，但驗證損失最終增加。換言之，該泛化曲線顯示該模型與訓練集中的資料過擬合。根據奧卡姆剃刀定律，或許我們可以通過降低複雜模型的複雜度來防止過擬合，這種原則稱為正則化。
也就是說，並非只是以最小化損失（經驗風險最小化）為目標，而是以最小化損失和複雜度為目標，這稱為結構風險最小化。
我們可以使用 l2 正則化公式來量化複雜度，該公式將正則化項定義為所有特徵權重的平方和：
模型開發者通過以下方式來調整正則化項的整體影響：用正則化項的值乘以名為 lambda（又稱為正則化率）的標量。也就是說，模型開發者會執行以下運算：
執行 l2 正則化對模型具有以下影響：
在選擇 lambda 值時，目標是在簡單化和訓練資料擬合之間達到適當的平衡：
所以lambda的值，常常需要根據資料的不同來手動除錯！！！
機器學習學習記錄 持續更新 pandas
pandas訪問資料的方法 pandas操控資料的方法 pandas 是一種列存資料分析 api。它是用於處理和分析輸入資料的強大工具，很多機器學習框架都支援將 pandas 資料結構作為輸入。可以將它想象成乙個關係型資料 其中包含多個行和已命名的列。建立dataframe的方法可以是將對映 str...
機器學習學習記錄 持續更新 pandas
pandas訪問資料的方法 pandas操控資料的方法 pandas 是一種列存資料分析 api。它是用於處理和分析輸入資料的強大工具，很多機器學習框架都支援將 pandas 資料結構作為輸入。可以將它想象成乙個關係型資料 其中包含多個行和已命名的列。建立dataframe的方法可以是將對映 str...
機器學習學習記錄 持續更新 降低損失
下圖是機器學習過程中常見的迭代流程圖 該圖體現了機器學習過程中，通過迭代來減少損失的基本思路。大致思路如下 首先根據資料集中的訓練集來得到乙個 模型，然後利用該模型來計算乙個特徵對應的輸出，並且計算出損失。通過獲得的損失，來更新 模型的引數，再反覆進行上述過程。直至最後計算出來的損失降低至了可接受的...