剛剛開始接觸機器學習。線性回歸可定義到給出一堆資料，**一條直線。根據這條直線來**未來的趨勢。
根據線性回歸，可知有直接計算的方法計算theta，也可通過迭代的梯度下降演算法計算theta。
學習率不能很大，也不能很小。太大會出現越過最優點的情況，太小又會出現迭代次數過多的情況。
即使學習速率α保持不變，梯度下降法也可以保持在區域性最低點。
當然也有一些更好（更難）的演算法，可以自動選擇學習率α。
**函式也就是h(x)，是一條直線。也可寫作theta的轉置 * x。
代價函式在第二行顯示。表示的是，**函式與實際值之間的差距。
做平方處理能更清晰的看到結果，分母是2m是為了方便求導後的運算，2的出現對結果基本無影響。
把梯度下降法，應用到最小化平方差代價函式。迭代10000次，檢視效果。
學習筆記之梯度下降演算法
梯度下降 gradient descent,gd 是目前機器學習 深度學習解決最優化問題的演算法中，最核心 應用最廣的方法。它不是乙個機器學習演算法，而是一種基於搜尋的最優化方法。其作用是用來對原始模型的損失函式進行優化，以便尋找到最優的引數，使得損失函式的值最小。也就是，用已知訓練集資料尋找最優得...
梯度下降演算法 梯度下降演算法為何叫梯度下降？
首先，我們知道乙個演算法的名字可以很好地去解釋乙個演算法，那麼梯度下降演算法是什麼呢？很明顯的，就是用梯度這個工具來解決問題的一種演算法。解決什麼問題呢？如何在乙個函式曲面的某一點，找到乙個函式值變化最大的方向。比如 我們站在山上的某一點，我們想要以最快的速度上山，但是我們的步子大小是一定的，那麼最...
機器學習經典演算法筆記 梯度下降演算法
本文推薦乙個更好的版本理解 梯度下降，下面的 選自本文 這大概是我見過最好理解的乙個版本 梯度下降的場景假設 梯度梯度下降演算法的數學解釋 梯度下降演算法的例項 梯度下降演算法的實現 further reading 代價函式 j 12 m x y t x y j theta frac x theta...