線性回歸演算法（用直線來擬合資料）
h0(x)=θ0+θ1*x,要想h0（**值）接近y（實際值），也就是使得**值和實際值的平方誤差和最小，可用平方代價誤差函式來解決。
平方代價誤差函式說明：平方是為了保證正值，二分之一m的目的是求導（計算變化率）後消掉係數。（假設h,引數θ，代價函式j，優化目標）
如何進行機器學習？如何確定θ（0），θ（1）？此處測試資料集有（1，1），（2，2），（3，3）三個點。分別對θ（0），θ（1）取不同的值，呼叫平方代價誤差函式，計算出目標值，找到最小的目標值，學習完畢。
梯度下降演算法：找到區域性最優解。
我們爬山的時候，想要找到一條最短的下山山路。可以發現，站在不同位置找的路是不一樣的。
梯度下降演算法：
『』：=『』表示賦值，α是乙個數字，被稱為學習速率（步長）。如下山的時候，我們邁出的步子很大，α就很大，否則α就很小。
此公式的意義是：我們處在θj點，要走到j的最小值點，然後走一段距離步長，達到另乙個θj方向。梯度乘乙個負號是因為朝著梯度（微分，代表著某個給定切點的斜率）的反方向前進。
導數相當於斜率，當斜率為正數時，θ1減小，反之，θ1增加。當斜率為負數時，θ1更大了。但導數為0，即斜率與x軸平行時，找到最低點。
α的如何取值呢？假如α過小，求梯度下降會很緩慢，慢慢慢慢到達最低點。如果α過大，可能無法收斂。因為它很可能邁一大步後斜率從負變成正，經過計算又到達負，依次類推。α取值不宜過大過小。
應用於線性回歸的的梯度下降演算法
吳恩達機器學習 單變數線性回歸 學習筆記
說明 本文是本人用於記錄學習吳恩達機器學習的學習筆記，如有不對之處請多多包涵.一 模型的描述 下面的這張是對於課程中一些符號的基本的定義 吳老師列舉的最簡單的單變數線性回歸方程 二 代價函式 這節課的主要目標是如何選擇這個模型的兩個引數 下圖是吳老師的分析怎麼將模型轉化求解需要的兩個引數 h x 的...
機器學習筆記 吳恩達 一 單變數線性回歸
代價函式詳解 梯度下降法 個人blog 我們有關於房屋面積和房屋 的資料集，現在想擬合一條直線通過房屋的面積來 房屋 這條直線應該盡可能的符合已有的資料。這裡我們簡單的假設該直線的方程為 h x x h x theta x h x x其中x表示房屋的面積，h x 表示 出的房價。有了這個假設函式我們...
吳恩達機器學習筆記（2） 多變數線性回歸
我們這次的例題還是用我們上次單變數線性回歸模型一樣的問題 房價問題，但是我們這次新增了房間數，房子所在樓層數，房子面積這三個新變數到我們的例題中。我們把這四個變數命名為x1,x2,x3,x4結果為y，用n表示我們有n個特徵，用m表示樣本數量。既然我們多了這麼多特徵變數，那麼我們的模型的公式也要改變 ...