上圖中列數即為特徵的個數，行數是樣本數。函式假設如下：
其中x0=1。
和單變數的損失函式相同：
其中，求導迭代如下：
特徵之間的尺度變化相差很大（如乙個是0-1000，乙個是0-5），梯度演算法需要非常多次的迭代才能收斂，如下圖所示：
方法：將各個特徵縮放至大致相同的尺度，最簡單的方法就是特徵減去均值除以方差。如下所示：
學習率過小收斂慢，學習率過大可能導致無法收斂。
通常通過三倍放大來考慮學習率的設定，比如：0.01,0.03,0.1,0.3,1,3,10……。
比如乙個二次模型：
或者三次模型：
可以通過建立新特徵（即令）：
從而將模型轉換成線性模型。
前提：對於某些線性回歸問題，使用正規方程求解一步到位（導數為零等式求解）。如下所示
直接令。引數的解直接為：
（x包含x0=1）。
梯度下降與正規方程的比較：
（1）特徵之間互相不獨立時不可逆；
（2）樣本數少於特徵數時不可逆。
吳恩達機器學習筆記 多變數線性回歸
目錄前言 一 多維特徵 二 多變數梯度下降 1.代價函式 2.批量梯度下降演算法 3.演示 未驗證 三 特徵縮放 幫助梯度下降演算法更快收斂 1.為什麼要進行特徵縮放 2.特徵縮放的幾種方法 3.進行特徵縮放的注意事項 總結 目前為止，我們 了單變數 特徵的回歸模型，現在我們對房價模型增加更多的特徵...
吳恩達《機器學習》課程總結 19 總結
線性回歸 下面第三行x0 i 其實是1，可以去掉 邏輯回歸 神經網路 寫出前向傳播即可，反向框架會自動計算 pca訓練誤差減去人類最高水平為偏差 欠擬合 交叉驗證集誤差減訓練誤差為方差 過擬合 正則化解決方差問題，不對 0正則化 全過程觀測偏差與方差，所以更全面。找到哪種原因造成誤差最大，最該花時間...
吳恩達《機器學習》課程總結（19）總結
線性回歸 下面第三行x0 i 其實是1，可以去掉 邏輯回歸 神經網路 寫出前向傳播即可，反向框架會自動計算 pca訓練誤差減去人類最高水平為偏差 欠擬合 交叉驗證集誤差減訓練誤差為方差 過擬合 正則化解決方差問題，不對 0正則化 全過程觀測偏差與方差，所以更全面。找到哪種原因造成誤差最大，最該花時間...