代價函式詳解
梯度下降法
個人blog
我們有關於房屋面積和房屋**的資料集，現在想擬合一條直線通過房屋的面積來**房屋**。這條直線應該盡可能的符合已有的資料。
這裡我們簡單的假設該直線的方程為
h (x
)=θx
h(x) = \theta x
h(x)=θ
x其中x表示房屋的面積，h(x) 表示**出的房價。有了這個假設函式我們就可以**房價了。
那麼引數θ
\theta
θ應該怎麼確定呢？這裡我們需要用到代價函式。
這裡先給出代價函式的表示式
j (θ
)=12
m∑i=
1m(h
θ(x(
i))−
y(i)
)2j(\theta)=\frac\sum_^(^)-^)}^
j(θ)=2
m1i
=1∑m
(hθ
(x(
i))−
y(i)
)2其中x(i
)^x(i)
表示第i個資料樣本中房屋的面積
h θ(
x(i)
)(^)
hθ(x(
i))表示使用假設函式**房屋面積x(i
)^x(i)
的得到的房屋**
y (i
)^y(i)
表示真實的房屋**
這裡我們選擇使用均方誤差作為衡量**結果與真實值的偏差。最前面的 1
2\frac
21 只是為了計算方便無需在意。
我們所要做的就是改變θ
\theta
θ的值，使得代價函式j(θ)
(\theta)
(θ)的值最小,當找到乙個θ
\theta
θ使得代價函式的值最小時，我們就確定了引數θ
\theta
θ。即我們的優化目標：
m in
imiz
ej(θ
)minimizej(\theta)
minimi
zej(
θ)為什麼說我們要找的θ
\theta
θ會使代價函式取得最小值呢？接下來舉例說明。
假設我們的資料集中有三個樣本點 (1,1) , (2,2) , (3,3)
我們可以使用無數條直線來擬合這些樣本，但很顯然只有當 θ=1
\theta = 1
θ=1時，即 y=x
y=xy=
x 這條直線有最好**效果。
然後我們將不同的θ
\theta
θ值帶入代價函式，計算其結果：
從影象上可知，當代價函式的影象在最低點時，對應θ
\theta
θ的值，就是最佳的結果。
通過這個例子不難發現，只要我們求出代價函式的最小值，就可找到我們想要的引數θ
\theta
θ的值。
那麼代價函式的最小值應該怎麼求呢？在數學上有許多方法可以解決這個問題，這裡我們使用梯度下降法來求代價函式的最小值。
下圖是使用梯度下降法求解θ
\theta
θ的步驟，開始時我們隨機賦給θ
\theta
θ乙個初值，重複執行下面的步驟更新θ
\theta
θ的值。執行一定次數，當θ
\theta
θ的值基本不再變化時，我們就求出了θ
\theta
θ的最後結果。
θ =θ
−α∂j
(θ)∂
θ\theta = \theta - \alpha\frac}
θ=θ−α∂
θ∂j(
θ)
其中關鍵的步驟是對代價函式求θ
\theta
θ的偏導，這可以理解為在求某一點的斜率。
當θ
\theta
θ的值大於最終結果時，θ
\theta
θ的取值在最終結果的右邊，對應點的斜率大於0，即求出的偏導值大於0， θ
\theta
θ減去乙個大於0的數變小。
當θ
\theta
θ的值小於最終結果時，θ
\theta
θ的取值在最終結果的左邊，對應點的斜率小於0，即求出的偏導值小於0， θ
\theta
θ減去乙個小於0的數後變大。
當θ
\theta
θ的值越接近最終結果時，導數越接近0，θ
\theta
θ變化的速度也越慢。
其中 α
\alpha
α 是學習率，它的大小會改變θ
\theta
θ的改變速度，但取值不能太大，否則會造成θ
\theta
θ無法收斂。
吳恩達機器學習 單變數線性回歸 學習筆記
說明 本文是本人用於記錄學習吳恩達機器學習的學習筆記，如有不對之處請多多包涵.一 模型的描述 下面的這張是對於課程中一些符號的基本的定義 吳老師列舉的最簡單的單變數線性回歸方程 二 代價函式 這節課的主要目標是如何選擇這個模型的兩個引數 下圖是吳老師的分析怎麼將模型轉化求解需要的兩個引數 h x 的...
吳恩達機器學習筆記2 單變數線性回歸
線性回歸演算法 用直線來擬合資料 h0 x 0 1 x,要想h0 值 接近y 實際值 也就是使得 值和實際值的平方誤差和最小，可用平方代價誤差函式來解決。平方代價誤差函式說明 平方是為了保證正值，二分之一m的目的是求導 計算變化率 後消掉係數。假設h,引數 代價函式j，優化目標 如何進行機器學習？如...
吳恩達機器學習筆記 多變數線性回歸
目錄前言 一 多維特徵 二 多變數梯度下降 1.代價函式 2.批量梯度下降演算法 3.演示 未驗證 三 特徵縮放 幫助梯度下降演算法更快收斂 1.為什麼要進行特徵縮放 2.特徵縮放的幾種方法 3.進行特徵縮放的注意事項 總結 目前為止，我們 了單變數 特徵的回歸模型，現在我們對房價模型增加更多的特徵...