在梯度下降演算法中，當θ在乙個較小的範圍內時會快速下降，而在較大的範圍內則下降的較為緩慢，所以當變數的取值範圍非常不均勻時，演算法會低效率地振動到最優解。
所以說，我們可以將每個變數固定在乙個大致相同的範圍內來加快梯度下降的速率。例如將變數控制在：
這不是乙個絕對的區間，只要我們大致將變數控制在相似的取值範圍內，就能夠make sense。
特徵縮放（feature scaling）：
特徵縮放涉及將輸入值除以輸入變數的範圍（即最大值減去最小值），從而產生僅1的新範圍。
均值歸一化（mean normalization）：
下面是乙個例子：
簡單來說，學習速率就是迭代函式中的α。
有乙個結論：當學習速率α足夠小時，j(θ)在每次迭代中一定會減小
吳恩達機器學習筆記（4 正則化）
到目前為止，我們已經學習了兩個演算法，包括線性回歸和邏輯回歸。在實際問題中，有可能會遇到過擬合問題，它會導致效果很差。這一節，我們介紹一下什麼是過擬合，以及解決過擬合問題的方法，正則化。過擬合 如果我們有非常多的特徵，我們通過學習得到的假設可能能夠非常好地適應訓練集 代 價函式可能幾乎為 0 但是可...
吳恩達機器學習筆記4 正則化
1 多項式的例子 比如加1000 3 2 那麼為了使得下面這個加入懲罰項的式子min，就會盡量使得 3.4趨近於0，這就相當於由擬合的右圖的式子高次冪，變成了擬合為二次式。2 housing 例子 一般來說，取盡量小的值，會使得假設函式更加簡單，也會更易避免過擬合。上圖舉的例子多項式例子不同，我們並...
吳恩達機器學習筆記一
機器學習分類 監督學習 無監督學習 強化學習 深度學習 監督學習 回歸問題，意指要 乙個連續的輸出值，比如房價。分類問題，目標是 離散值輸出 0 or 1 比如 腫瘤是良性或惡性，可以有乙個特徵 腫瘤大小，也可以兩個特徵 年齡和腫瘤大小，或者無限多特徵 支援向量機。分類是將一些例項資料分到合適的類別...