\[h_\theta(x)=\theta_0+\theta_1x \]
很顯然這是乙個一次函式，使用一次函式是為了方便學習。為了簡便，我們通常簡寫成：
\[h(x)=\theta_0+\theta_1x \]
學過一次函式的都知道代表的是什麼。\(\theta_0\)在這裡代表的是截距，\(\theta_1\)代表斜率。在這裡我們將會不斷調整截距和斜率，盡量得到乙個合適的假設函式。我們需要儘量減少真實資料和假設函式的輸出之間的平方差。
平方差函式(代價函式)
\[j(\theta_0,\theta_1)=\frac\sum\limits^m_(h_\theta(x^)-y^)^2 \]
而我們的目標是：
\[\mathop\limits_\frac\sum\limits^m_(h_\theta(x^)-y^)^2 \]
就是希望找到一對\(\theta_0\theta_1\)使得方差函式是最小的。
在上面我們明確了我們的目標：
\[\mathop\limits_\frac\sum\limits^m_(h_\theta(x^)-y^)^2 \]
我們需要一種高效的方法，去尋找方差最小時的解。
想像一下你在一座大山上，在梯度下降演算法中我們要做的就是旋轉360度，看看我們的周圍，並問自己我要在某個方向上用小碎步盡快下山。如果我們站在山坡上的這一點，你看一下周圍你會發現最佳的下山方向，現在你在山上的新起點上 ，你再看看周圍，然後再一次想想 ，我應該從什麼方向邁著小碎步下山? 然後你按照自己的判斷又邁出一步 ，往那個方向走了一步，然後重複上面的步驟 ，從這個新的點，你環顧四周，並決定從什麼方向將會最快下山 ，然後又邁進了一小步，又是一小步，並依此類推，直到你接近區域性最低點的位置。
梯度下降是一種不斷且同時更新的。我們採用一次函式來學習，因此只需要更新兩個值：
\[\theta_j=\theta_j-\alpha\fracj(\theta_0,\theta_1) \]
其中\(\alpha\)是成長速率，就是每一次更新的步長。
其中要注意的是，\(\theta\)是先計算出來再賦值。也就是說，所有\(\theta\)的更新不會因為別的\(\theta\)先更新了而被影響。
因此，\(\alpha\)要控制好大小，但是直觀點看是寧願偏小也不要過大。
這裡是使用一次函式做例子，如果不是一次函式那推廣即可。
\[j(\theta_0,\theta_1)=\frac\sum\limits^m_(h_\theta(x^)-y^)^2 \tag \]
\[\theta_j=\theta_j-\alpha\fracj(\theta_0,\theta_1)\tag \]
將(1)代入(2):
\[\theta_j=\theta_j-\alpha\frac\frac\sum\limits^m_(h_\theta(x^)-y^)^2 \tag \]
將1和0分別代入\(\fracj(\theta_0,\theta_1)\)，可得
\[j=0:\fracj(\theta_0,\theta_1)=\frac\sum\limits^m_(h_\theta(x^)-y^)\tag \]
\[j=1:\fracj(\theta_0,\theta_1)=\frac\sum\limits^m_(h_\theta(x^)-y^)·x^\tag \]
將(4),(5)代入(2)，得：
\[\theta_0=\theta_0-\alpha\frac\sum\limits^m_(h_\theta(x^)-y^) \]
\[\theta_1=\theta_1-\alpha\frac\sum\limits^m_(h_\theta(x^)-y^)·x^ \]
至此，我們就得到了兩個引數的迭代公式。
機器學習演算法 線性回歸
線性回歸應該算機器學習演算法裡面最基礎的演算法了，分別用作回歸 y值為連續值 和分類 y值為離散 在學習線性回歸的過程中，有很多機器學習的概念和方法是在這時候提出的。在現實中變數之間的關係，是有確定的和非確定的。確定關係指的是變數之間可以使用函式關係式表示，非確定的部分我們可以用概率分布來表示，如乙...
機器學習演算法 線性回歸
樣本特徵只有乙個的線性回歸問題，為簡單線性回歸。樣本特徵有多個的線性回歸問題，為多元線性回歸。兩個變數之間的關係是一次函式關係的 圖象是直線，這樣的兩個變數之間的關係就是 線性關係 如果不是一次函式關係的 圖象不是直線，就是 非線性關係 線性回歸演算法將無數的訓練集資料放在乙個座標系中，以座標系的乙...
機器學習演算法 線性回歸
線性回歸是利用數理統計中回歸分析，來確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法，運用十分廣泛。其表達形式為y w x e，e為誤差服從均值為0的正態分佈。回歸分析中，只包括乙個自變數和乙個因變數，且二者的關係可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括...