關鍵字：代價函式，梯度下降，學習速率，batch梯度下降法
話說這個梯度下降法我們的專業課數值線性代數是有的，突然發現數值線性代數果然是有用的啊
1、梯度下降法
演算法（乙個形象的說法：盲人下山）
注意點：所有的引數都要同時更新
1.1 代價函式
j為代價函式，吳恩達老師舉例：平方差代價函式
如果想求代價函式j的最小值，可以採用梯度下降法
1.2 .學習速率
這裡的引數alpha稱為學習速率，為正數，控制每次的步長
alpha的大小需要控制，如果太大的話最後不會收斂甚至可能發散
alpha為常數：接近區域性最優解時，不需要減小alpha，因為到達最優解時導數越來越趨近於0，此時alpha不動，
學習速率的選取：
可以畫出迭代次數與代價函式的影象
1.良好情況下，代價函式會降低，最後趨向平穩，這個時候的alpha的選擇就比較好。
2.但是如果alpha太大，那麼影象就像這樣
3.如果代價函式如下
1.3 應用：不僅可以應用於線性回歸，也可以應用於非線性回歸模型。
2.線性回歸模型
線性方程 和 平方和代價函式
3、batch梯度下降法
3.1 演算法
線性回歸模型化簡後的梯度下降法如下，這裡的j採用平方差代價函式
不斷的更新引數
分析:右邊的影象乙個等高線圖，在同一圈上的引數對應的代價函式的值都一樣的
右圖實際上是乙個3d圖，第三維是代價函式j，在最裡面的小圓點j是最小的，就像碗的碗底，這是乙個凸函式，從碗底往上依次j變大，這個形狀就像乙個碗
左圖的點是一些已知資料，要做的就是盡可能貼合他們，即使得j最小
藍線為線性模型，包含引數seta1和seta2
目標：使得藍線盡可能擬合資料
過程：通過seta1 seta2不斷接近底部，代價函式達到最小，那麼擬合的效果就達到最小，對應左邊有乙個最佳擬合直線
如下圖為最終結果
3.2 總結
顯然這個方法用到了所有的資料，因為j是根據所有的資料求來的，適用於較大的資料集
懸念：還可以用高等代數的正規劃方程組
的方法求得最佳引數，此時不需要遍歷整個訓
練集的樣本
4.正則化方程組（用於求得最佳引數）
這個方法可以一次性求得最佳引數，不需要經過迭代，是數值線性代數裡面的直接法而不是迭代法。
當特徵小於10000時比較適合
這是**吳恩達網易雲機器學習系列做的筆記
機器學習 單變數線性回歸
1.模型描述 1 常見的字元的意義 2 乙個監督學習演算法的工作方式 2.代價函式 1 什麼是代價函式 平方誤差函式 目標函式 我在網上找了很長時間代價函式的定義，但是準確定義並沒有，我理解的代價函式就是用於找到最優解的目的函式，這也是代價函式的作用。注意 上面的代價函式是二變數的，事實上代價函式可...
機器學習 單變數線性回歸
你有乙個10000平方英呎的房子，現在要進行轉買，能賣多少錢呢？單變數線性回歸，顧名思義是乙個變數對結果產生的影響，例如上題房屋面積對房屋 的影響 回歸是統計學的乙個重要概念，其本意是根據之前的資料 乙個準確的輸出值，解題思路如下 1 定義乙個模型 h x 0 1x，並初始化 0 1的值就會產生乙個...
機器學習 單變數線性回歸
給定房屋面積和房屋 的資料，然後以房屋面積為橫座標，房屋 為縱座標，繪製資料點。通過繪製曲線，獲得房屋房價的模型，根據房屋面積獲得房屋 這就是乙個regression problem 回歸問題 regression指的是根據之前的資料 出乙個準確的輸出值，即predict real valued o...