只含有乙個特徵/輸入變數，這樣的問題叫做單變數線性回歸問題。如
接下來是為模型選擇合適的引數，如
模型**的值與訓練集中實際的值的插值就是建模誤差。
目標是選擇出可使得建模誤差的平方和能夠最小的模型引數。
代價函式也被稱作平方誤差函式，有時也被稱為平方誤差代價函式。我們之所以要求出誤差的平方和，是因為誤差平方代價函式，對於大多數問題，特別是回歸問題，都是乙個合理的選擇。還有其他的代價函式也能很好地發揮作用，但是平方誤差代價函式可能是解決回歸問題最常用的手段了。
梯度下降，能夠用來求函式最小值。
梯度下降背後的思想是：開始時我們隨機選擇乙個引數的組合(?0,?1,…,??)，計算代價函式，然後我們尋找下乙個能讓代價函式值下降最多的引數組合。我們持續這麼做直到到到乙個區域性最小值（local minimum），因為我們並沒有嘗試完所有的引數組合，所以不能確定我們得到的區域性最小值是否便是全域性最小值（global minimum），選擇不同的初始引數組合，可能會找到不同的區域性最小值。
去努力接近最低點，這樣就需要很多步才能到達最低點，所以如果?太小的話，可能會很慢，因為它會一點點挪動，它會需要很多步才能到達全域性最低點。
如果?太大，那麼梯度下降法可能會越過最低點，甚至可能無法收斂，甚至會導致發散。
如果你的引數已經處於區域性最低點，那麼梯度下降法更新其實什麼都沒做，它不會改變引數的值。這也解釋了為什麼即使學習速率?保持不變時，梯度下降也可以收斂到區域性最低點。此時區域性最優點的倒數等於0.
在梯度下降法中，當我們接近區域性最低點時，梯度下降法會自動採取更小的幅度，這是因為當我們接近區域性最低點時，很顯然在區域性最低時導數等於零，所以當我們接近區域性最低時，導數值會自動變得越來越小，所以梯度下降將自動採取較小的幅度，這就是梯度下降的做法。所以實際上沒有必要再另外減小?
梯度下降的線性回歸
機器學習之 單變數線性回歸
線性回歸 線性回歸 linear regression 作為machine learning整個課程的切入例子確實有獨到的地方，以簡單的例子為出發點，將學習任務的主幹串起來。問題的建模可以簡單如下圖所示 線性回歸可以分為單變數線性回歸 linear regression with one varia...
機器學習 單變數線性回歸
1.模型描述 1 常見的字元的意義 2 乙個監督學習演算法的工作方式 2.代價函式 1 什麼是代價函式 平方誤差函式 目標函式 我在網上找了很長時間代價函式的定義，但是準確定義並沒有，我理解的代價函式就是用於找到最優解的目的函式，這也是代價函式的作用。注意 上面的代價函式是二變數的，事實上代價函式可...
機器學習 單變數線性回歸
你有乙個10000平方英呎的房子，現在要進行轉買，能賣多少錢呢？單變數線性回歸，顧名思義是乙個變數對結果產生的影響，例如上題房屋面積對房屋 的影響 回歸是統計學的乙個重要概念，其本意是根據之前的資料 乙個準確的輸出值，解題思路如下 1 定義乙個模型 h x 0 1x，並初始化 0 1的值就會產生乙個...