上面這個資料點集，顯然不再是線性回歸，所以這時就可以選擇多項式方程進行擬合，
根據這些資料點的規律，我們可能選擇二次多項式（會下降）、三次多項式（上公升趨勢變快）或者平方根函式（上公升趨勢變緩慢）等等來擬合資料點。
同時，在上述的三次多項式擬合時，x1，x2和x3的取值範圍差別非常大，此時前面提到的特徵縮放對於使用梯度下降法來說就顯得至關重要了。
後面會學習一些演算法，這些演算法能夠自動選擇要使用說明函式來擬合點集。
在前述中，所使用的求解線性回歸問題的方法是梯度下降法，而梯度下降法需要一步一步進行迭代計算（take many steps），最終收斂到乙個全域性最小值（因為是線性回歸問題，不會收斂到其他的最小值）。
相反，正規方程的方法提供了一種求出θ最優解的解析解法，所以幾乎只需要one step，就可以得到最優值。
其實正規方程的思想就是根據下式來直接求出滿足條件的θ值
在矩陣論中，解出θ其實就是求矩陣x的廣義逆的過程，最後得到θ的解析式：
正規方程相對於梯度下降法的乙個特點在於在求解時不用去進行特徵縮放。
下面是乙個梯度下降演算法與正規方程法的比較：
吳恩達機器學習 過擬合問題
看到這篇文章的同學，我希望是已經學習了幾種不同的學習演算法，包括線性回歸和邏輯回歸，它們能夠有效地解決許多問題，但是當將它們應用到某些特定的機器學習應用時，會遇到過擬合 over fitting 的問題，可能會導致它們效果很差。如果我們有非常多的特徵，我們通過學習得到的假設可能能夠非常好地適應訓練集...
吳恩達機器學習筆記
為了解決實際生活中的問題，我們通常需要乙個數學模型。比如，小明有乙個房子 他想賣掉房子 為了知道房子的 小明收集了該地區近兩年的房屋交易 他發現房屋 與房屋大小呈正相關，所以他畫了了一幅圖 小明的房屋大小用紅色的 代替。可見和小明房屋一樣大小的房子並不存在，而類似的房屋 又有很大差別，如此小明決定用...
吳恩達機器學習筆記
sigmoid啟用函式 0，1 x 0,y 0.5 tanh啟用函式 1，1 x 0,y 0 relu啟用函式 x 0,y 0 x 0,y x sigmoid啟用函式 除了輸出層是乙個二分類問題基本不會用它。tanh啟用函式 tanh是非常優秀的，幾乎適合所有場合。relu啟用函式 最常用的預設函式...