目前在學習
coursera
的machine learning課程，決定做乙份筆記以便記錄學習情況。
這是機器學習的
第一章第一節
：cost function(代價函式)
通過這一節的學習將會了解到以下兩個函式公式的含義：
函式1.1.1-hypothesis：\(h_\theta (x)=\theta _0+\theta_1x\)
函式1.1.2-cost function：\(\displaystyle j(\theta_0,\theta_1)=\frac\sum_^(h_\theta(x_i)-y_i)^2\)
對於機器學習的問題主要有兩大分類：1. supervised learning 2. unsupervised learning. 代價函式的目標在於對於給出的一組資料(training set)，根據其變化規律(函式1.1.1)，來計算函式1.1.1對於給定這組資料的相近程度，即代價(函式1.1.2)。因此代價函式屬於第一類，supervised learning。
首先介紹函式1.1.1，函式1.1.1稱為hypothesis，即我們所假設的這組資料的理想的變化規律，是計算代價函式的基礎。
對於該函式：\(h_\theta (x)=\theta _0+\theta_1x\)，這是我們學習機器學習所用到的基本假設函式，即存在乙個變數\(x\)，對應乙個結果\(h_\theta (x)\)，存在兩個係數\(\theta_0\)和\(\theta_1\)。
對應乙個簡單的例子：假設\(h_\theta (x)\)是房價，房價的影響因素只有乙個房屋面積\(x\)，同時存在乙個基礎**\(\theta_0\)，那麼我們就可以根據函式1.1.1來**乙個任意大小的房子對應的房價。此時我們就會想到，房價的影響因素還有地理位置(如果我們可以將其量化)，還有已建設時間等等，而且地理位置與房價是正相關的，已建設時間與房價是負相關的，同時其相關關係也不一定是一次函式關係等等。因此我們的函式1.1.1可以寫成各種各樣的形式。
仍以文章所示函式1.1.1為例，這個函式仍然可被簡化，也就是\(\theta_0=0\)或\(\theta_1=0\)兩種情形：
對於\(\theta_0=0\)，函式1.1.1簡化為：\(h_\theta (x)=\theta_1x\)，此時函式影象過原點；對於\(\theta_1=0\)，函式1.1.1簡化為：\(h_\theta (x)=\theta_0\)，此時函式影象為一條與x軸平行的直線。影象如下所示：
然後介紹函式1.1.2，函式1.1.2叫做cost function，即標題中所提到的代價函式，代價函式的值反應了所使用的函式1.1.1與給出的這組資料(training set)的貼合程度
。對於該函式：\(\displaystyle j(\theta_0,\theta_1)=\frac\sum_^(h_\theta(x_i)-y_i)^2\)，由於比較複雜，我們分成以下四步來理解：
1、我們將右半部分看作\(\frac\cdot \bar\)，其中\(\bar\)稱為squared error function(或 mean squared error)，也就是函式1.1.1給出的**值\(h_\theta (x)\)與這組資料的真實值\(y\)的差的平方的平均值(m表示這組資料共有m項)；
2、平方項中，\(x\)和\(y\)均有角標\(i\)，有時我們也會看到這樣的形式：\((h_\theta(x^)-y^)^2\)，它們的意思是一樣的，\(i\)表示的是給出的這組資料(training set)的第\(i\)項，也稱作索引，\(x_i\)即表示training set的第\(i\)個自變數的值，\(y_i\)則對應第\(i\)個因變數的值；
3、係數"\(\frac\)"能夠簡化gradient descent的計算(梯度下降法計算代價函式最小值)，因為在計算過程中要對函式1.1.2進行求導，可知該係數能夠在求導後與後半部分的平方進行抵消，從而達到簡化計算的效果；
4、我們的目標是使該函式最小，即最符合真實的變化規律，因此需要通過不斷調整\(\theta_0\)和\(\theta_1\)的值來實現。
對應具體例子中，需要引入函式1.1.1，我們首先從函式1.1.1的簡化形式來計算函式1.1.2，即\(\theta_0=0\)的情況。在此假設我們的training set有三組資料：\((1,1)\)，\((2,2)\)和\((3,3)\)，如圖所示：
函式1.1.1為過原點的直線，方程為：\(h_\theta (x)=\theta_1x\)，我們很容易能夠想到，當\(\theta_1=1\)時，函式\(h_\theta (x)\)完全符合training set，那麼它的代價應該是最小的。根據函式1.1.2，因為\(h_\theta (x_i)\)與\(y_i\)相等，那麼二者之差為\(0\)，所以函式1.1.2的結果也為\(0\)，那麼此時對應的\(j-\theta\)影象如上所示，此時僅有點\((1,0)\)。當我們引入\(\theta_1=0.5\)和\(\theta_1=0\)時，分別計算它們在函式1.1.2下的結果，可得到如下圖所示點
由此不難推斷，函式1.1.2將呈現為乙個二次函式的形式，最小值在\(\theta_1=1\)處
。至此我們討論的是\(\theta_0=0\)的情況，上例的\(h_\theta(x)-x\)影象和\(j(\theta_1)-x\)影象可直接畫出。
對於\(\theta_0\)不為\(0\)的情況，仍可作出\(h_\theta(x)-x\)影象，不過由於\(j(\theta_0,\theta_1)\)將變為兩個自變數，因此會成為三維影象。但是，想到地理中我們所見過的等高線地圖，我們同樣也可以將其拍扁並用二維影象來表示。以下分別展示了三維情況下函式1.1.2對應的影象和用二維表示的函式1.1.2對應的影象：
此時，我們用contour(輪廓線)表示\(j(\theta_0,\theta_1)\)值相等的位置，\(x\)，\(y\)軸對應為\(\theta_0\)，\(\theta_1\)，通過改變\(\theta_0\)和\(\theta_1\)，將由\(h_\theta (x)\)得到對應\(j(\theta_0,\theta_1)\)影象。
end~
吳恩達機器學習9 代價函式 2
1.下面是我們慣例的公式，有假設函式 引數和代價函式以及我們優化的目標 和上節課不同的是，對代價函式圖形化的時候，這次課我們要保留全部引數theta0和theta1，這裡是關於房價的訓練集，之前我們只有乙個引數theta1，畫出來的形狀是乙個碗狀函式，當我們有兩個引數的時候，j theta0,the...
3 1 代價函式
接下來，我們引入一些術語，0和 1，這些 i我們將它稱作為模型引數，我們要做的就是如何去選擇這兩個引數。對於不同的 0和 1，我們會得到不同的假設函式，如下圖所示。簡單的說，我們將這個問題變為找到能使我的訓練集中的 值與實際值的差的平方和的1 2m最小的 0和 1的值。因此，這將是我的線性回歸的整體...
機器學習Lesson 2 代價函式之線性回歸演算法
本章內容主要是介紹 單變數線性回歸演算法 linear regression with one variable 下圖是奧勒岡州波特蘭市的住房 和面積大小的關係 該問題屬於監督學習中的回歸問題，讓我們來複習一下 x,y 表示乙個訓練樣本。x 1 指的是 第乙個訓練集裡值為2104的輸入值，這個就是第...