我們的第乙個機器學習演算法——線性回歸演算法。有時我們把這個演算法也稱為batch梯度下降演算法，每一步下降都遍歷了整個訓練集的樣本。
在監督學習中我們有乙個資料集，這個資料集被稱訓練集。
假使我們回歸問題的訓練集（training set）如下表所示：
m表示訓練樣本的數量
x表示輸入變數（或者特徵）
y表示輸出變數（**的目標變數）
（x，y）表示乙個訓練樣本
（x（i），y（i））表示第i個訓練樣本（i指的是索引，表示第i個訓練樣本）
h代表學習演算法的解決方案或函式也稱為假設（hypothesis）
在房價**的例子中，提供乙個訓練集，學習演算法的任務是輸出乙個函式，通常用h表示。 h表示假設函式，作用是把房子的大小作為輸入變數，房子的**作為輸出變數，h根據輸入的x值來得出y值。因為只含有乙個特徵/輸入變數，因此這樣的問題叫作單變數線性回歸問題。
對於假設h我們可以用一條直線描述，用線性函式**房價值：
代價函式也被稱作平方誤差函式，有時也被稱為平方誤差代價函式，平方誤差代價函式是解決回歸問題最常用的手段。
:=這個符號表示賦值運算子
α是學習率（learning rate），它決定了我們沿著能讓代價函式下降程度最大的方向向下邁出的步子有多大，用來控制梯度下降
1.如果α（學習速率）太小，則梯度下降法會收斂的很慢；
2.如果α太大，則梯度下降法每次下降很快，可能會越過最小值，最終會導致無法收斂甚至發散。
3.如果你的引數已經處於區域性最低點，那麼梯度下降法更新其實什麼都沒做，它不會改變引數的值。這也解釋了為什麼即使學習速率α保持不變時，梯度下降也可以收斂到區域性最低點。
梯度下降和代價函式結合得到線性回歸演算法，它可以用直線模型來擬合資料。
對我們之前的線性回歸問題運用梯度下降法，關鍵在於求出代價函式的導數，即：
將上面的結果應用到梯度下降演算法中，就得到了線性回歸的梯度下降演算法：
機器學習 單變數線性回歸
1.模型描述 1 常見的字元的意義 2 乙個監督學習演算法的工作方式 2.代價函式 1 什麼是代價函式 平方誤差函式 目標函式 我在網上找了很長時間代價函式的定義，但是準確定義並沒有，我理解的代價函式就是用於找到最優解的目的函式，這也是代價函式的作用。注意 上面的代價函式是二變數的，事實上代價函式可...
機器學習 單變數線性回歸
你有乙個10000平方英呎的房子，現在要進行轉買，能賣多少錢呢？單變數線性回歸，顧名思義是乙個變數對結果產生的影響，例如上題房屋面積對房屋 的影響 回歸是統計學的乙個重要概念，其本意是根據之前的資料 乙個準確的輸出值，解題思路如下 1 定義乙個模型 h x 0 1x，並初始化 0 1的值就會產生乙個...
機器學習 單變數線性回歸
給定房屋面積和房屋 的資料，然後以房屋面積為橫座標，房屋 為縱座標，繪製資料點。通過繪製曲線，獲得房屋房價的模型，根據房屋面積獲得房屋 這就是乙個regression problem 回歸問題 regression指的是根據之前的資料 出乙個準確的輸出值，即predict real valued o...