我們知道機器學習可以分為監督學習和無監督學習，簡單來講監督學習就是每個樣本都有正確的答案，而無監督學習沒有。
監督學習又包括了回歸問題和分類問題，回歸問題就是**乙個具體數值的輸出，分類問題就是**離散值的輸出
線性回歸解決的是最小化問題，接下來我們要學的代價函式和梯度下降函式就為我們提供的是我們要最小化什麼以及如何最小化。
線性回歸是要**乙個具體值的輸出，所以首先我們要有乙個輸出**結果的假設函式：
h θ(
x)=θ
0+θ1
xh_θ(x)=θ_0+θ_1x
hθ(x)
=θ0
+θ1
x 上式中有兩個引數θ
0θ_0
θ0和θ
1θ_1
θ1，我們要做的就是確定這兩個引數的值。
我們都知道監督學習中每個樣本都有正確的答案，我們的假設函式hθ(
x)h_θ(x)
hθ(x)
也會有乙個**值，那麼為了使我們**的結果接近真實值，也就是找到能使**值和實際值差的平方誤差和的1/2m最小的θ0和θ1的值，這樣就得到了所謂的代價函式：
j (θ
0,θ1
)=12
m∑i=
1m(h
θ(x(
i))−
y(i)
)2j(θ_0,θ_1)=\frac\sum_^(h_θ(x^)-y^)^2
j(θ0,
θ1)
=2m1
∑i=
1m(
hθ(
x(i)
)−y(
i))2
對於大多數的線性回歸問題都用的是代價函式
我們的目標是使代價函式最小，梯度下降法就可以將代價函式j最小化。
下面就是梯度下降演算法的定義
就是先隨便用乙個數初始化θ
0θ_0
θ0和θ
1θ_1
θ1，然後一直改變θ
0θ_0
θ0和θ
1θ_1
θ1的值直到收斂，改變的方法如下圖：
其中α學習率表示用來控制梯度下降時我們邁出多大的步子，α值大梯度下降就很迅速
梯度下降要對θ0和θ1進行同步更新，即對θ0和θ1都更新完了以後再進行賦值，不能先計算出θ0的值就用這個新的值算θ1
如果已經處於乙個區域性最優點，下一步梯度下降將不會改變，因為區域性最優點的導數為0
當我們接近區域性最低點時，導數值會變得越來越小，梯度下降將會採用較小的幅度
把線性回歸的代價函式代入我們就得到了線性回歸的梯度下降
線性回歸的代價函式總是下圖這樣的弓形函式，也叫凸函式，它沒有區域性最優解，只有乙個全域性最優
通過右邊的代價函式j慢慢找到全域性最優解，也就得到了擬合好資料的假設函式，然後就可以用這個假設函式做**了
上述梯度下降演算法為batch梯度下降演算法，也就是每一步梯度下降都用了整個訓練集的樣本，也就是在梯度下降計算偏導數的時候計算的是m個訓練樣本的總和。
關於梯度下降更詳細的東西在我之前的筆記裡：
吳恩達機器學習第二章 單變數線性回歸
本章由線性回歸開始。treaingset 訓練集 一些已經確定的資料。learing algorithm 學習演算法 該演算法會輸出乙個函式 假設函式 該函式引導從x到y。size of house h 函式 pricce 在這裡單變數指的是x只有乙個。本章及以後經常用到的變數 m 訓練樣本的數量。...
吳恩達機器學習 單變數線性回歸 學習筆記
說明 本文是本人用於記錄學習吳恩達機器學習的學習筆記，如有不對之處請多多包涵.一 模型的描述 下面的這張是對於課程中一些符號的基本的定義 吳老師列舉的最簡單的單變數線性回歸方程 二 代價函式 這節課的主要目標是如何選擇這個模型的兩個引數 下圖是吳老師的分析怎麼將模型轉化求解需要的兩個引數 h x 的...
機器學習筆記 吳恩達 一 單變數線性回歸
代價函式詳解 梯度下降法 個人blog 我們有關於房屋面積和房屋 的資料集，現在想擬合一條直線通過房屋的面積來 房屋 這條直線應該盡可能的符合已有的資料。這裡我們簡單的假設該直線的方程為 h x x h x theta x h x x其中x表示房屋的面積，h x 表示 出的房價。有了這個假設函式我們...