過度擬合（over fitting）：在擬合資料時，如果要包含每條訓練記錄資料，則很容易產生過度擬合，換句話說，過度擬合現象在特徵變數很多很多時容易產生。（如下
圖2所示）
解決過度擬合的兩種方法：
減少選取特徵變數的數量（reduce number of features）
正規化：保留所有特徵變數，但是減少數量級或者引數大小（keep all the features，but reduce magnitude/values of parameters theta(j)）
正規化（regularization）：用於改善或者減少過度擬合問題，在使用cost function時進行正規化。
如圖2所示，儘管其對每乙個訓練資料都擬合得很好，但是一般性很差，無法很好用於新的輸入資料，因此需要正規化。
因此，正規化的思想是：
對於存在較小值引數：
如圖1所示。
正規化線性回歸（regularized linear regression）：
將之前學習到的線性回歸的cost function：
此時，使用
梯度下降演算法求解引數：
使用 正規方程演算法求解引數：
線性回歸 4 欠擬合 過擬合與區域性加權線性回歸
的個 數或者x 的指數大 小來獲得 不同形狀 的擬合曲 線 看下面的圖 左邊的曲線是在假設y 0 1x時的擬合結果，但顯然中間的曲線要比左邊的擬合效果更好。我們稱左邊的情況為欠擬合 underfitting 這樣看來右邊的不是比左邊更好嗎？no！我們稱右邊的情況為過擬合 overfitting 因為...
回歸 最佳擬合直線與區域性線性回歸
回歸可以做任何事，例如銷售量 或者製造缺陷 具體的做法是用回歸係數乘以輸入值，再將結果全部加在一起，就得到了 值。其中，求回歸係數的過程就是回歸，一旦有了回歸係數，再給定輸入，做 就很容易了。1.收集資料 2.準備資料 3.分析資料 4.訓練演算法 找到回歸係數 5.測試演算法 可使用 值和資料的擬...
一次線性回歸擬合 二次線性回歸擬合
器學習一次回歸和二次回歸 reshape 行，列 可以根據指定的數值將資料轉換為特定的行數和列數 reshape 1，1 之後，資料集變成了一列 採用線性回歸方程 lr linearregression lr.fit x,y from sklearn.linear model import line...