線性回歸
線性回歸（linear regression)作為machine learning整個課程的切入例子確實有獨到的地方，以簡單的例子為出發點，將學習任務的主幹串起來。問題的建模可以簡單如下圖所示：
線性回歸可以分為單變數線性回歸(linear regression with one variable)以及多變數線性回歸(linear regression with multiple variables)。這篇我們先從單變數線性回歸入手。
我們以房屋交易問題為例，
問題就是：
給定一批已知的房子大小和**的對應關係資料，如何對乙個給定大小的房子進行估值？
假使我們回歸問題的訓練集(training set)如下表所示：
我們用來描述這個回歸問題的標記如下：
我們需要做的是怎樣「學習」到乙個假設h（函式），從而對於給定的房子大小能輸出估值。
對於單變數線性回歸來說就是下面四個點：
1. 假設（hypothesis)：線性回歸的假設就是資料呈線性分布
2. 引數（parameters)： 學習的過程也就是引數擬合的過程，引數是
3. 代價函式（cost functions）： 進行引數選擇（擬合）的標準，這裡選取的是最小均方誤差。
4. 將引數回歸轉換到誤差最小化的優化問題上來
為了解最小化問題(4)，再引入梯度下降法(gradient descent algorithm
)。梯度下降背後的思想是：開始時我們隨機選擇乙個引數的組合（ø0,ø1,....,øn），計算代價函式，然後我們尋找下乙個能讓代價函式值下降最多的引數組合。持續這樣做直到找到乙個區域性最小值(local minimum)，因為我們並沒有嘗試完所有的引數組合，所以並不能確定我們得到的區域性最小值是不是全域性最小值(global minimum)，選擇不同的初始引數組合，可能會找到不同的區域性最小值：
其中alpha是學習速率(learning rate
)，它決定了我們沿著能讓代價函式下降程度最大的方向鄉下邁出的步子有多大。雖然步長是固定的，但是當逼近乙個（區域性）最小值時，梯度會變小，因而梯度下降法在靠近極值點時會自動將「步子」邁小一點。不過乙個比較好的初始值（能夠讓目標函式值下降的值）還是有必要的。
機器學習之單變數線性回歸
只含有乙個特徵 輸入變數，這樣的問題叫做單變數線性回歸問題。如 接下來是為模型選擇合適的引數，如 模型 的值與訓練集中實際的值的插值就是建模誤差。目標是選擇出可使得建模誤差的平方和能夠最小的模型引數。代價函式也被稱作平方誤差函式，有時也被稱為平方誤差代價函式。我們之所以要求出誤差的平方和，是因為誤差...
機器學習 單變數線性回歸
1.模型描述 1 常見的字元的意義 2 乙個監督學習演算法的工作方式 2.代價函式 1 什麼是代價函式 平方誤差函式 目標函式 我在網上找了很長時間代價函式的定義，但是準確定義並沒有，我理解的代價函式就是用於找到最優解的目的函式，這也是代價函式的作用。注意 上面的代價函式是二變數的，事實上代價函式可...
機器學習 單變數線性回歸
你有乙個10000平方英呎的房子，現在要進行轉買，能賣多少錢呢？單變數線性回歸，顧名思義是乙個變數對結果產生的影響，例如上題房屋面積對房屋 的影響 回歸是統計學的乙個重要概念，其本意是根據之前的資料 乙個準確的輸出值，解題思路如下 1 定義乙個模型 h x 0 1x，並初始化 0 1的值就會產生乙個...