目錄1. 線性回歸
1.1 問題轉換
1.2 衡量標準
1.3 學習方向
1. 線性回歸
1.1 問題轉換
今天我們來談一下線性回歸。
問題：假如我想知道乙個房屋的房價是多少，現在我們能提供的資料報含房屋的面積，房屋的朝向，房屋的地理位置等有關房子的資訊，我們該怎麼做呢？聰明的你一定已經知道了。
為了方便，我們把所有的資料用x1,x2等來表示，他們可以組成乙個向量表示為x，但是每個維度的x對於結果的影響能力是不一樣的，因此，我們可以在每個x前面乘上乙個不同 的權重，代表每個維度的重要性，但是我不要求直線一定要過原點，需要加乙個截距，因此最後的公式可表示為：
假設我們現在已經有了乙個資料集，他包含了房屋的**（y），房屋的朝向（x1），房屋的面積（x2），房屋的街道（x3）等資料，我們應該怎麼確定它的引數才能使我們的直線能最好的擬合資料？
1.2 衡量標準
在數學裡有乙個概念就做誤差，直觀表示就是實驗值與真實值之間的差距。在這裡，我們引入乙個新的概念：損失函式。它的含義與誤差近似，如下圖：
我們採用的平方損失函式，為什麼採用這個函式呢？因為我們衡量誤差是通過真實值與**值的歐氏距離（你也可以選其他距離）大小來衡量的，最優的直線應該是使各點到回歸直線的距離和最小的直線，即平方和最小，但我們一般採用均方差來，為了計算方便還會接下來的求導方便，還會乘以1/2。至此，我們的衡量乙個模型是否好壞的標準已經有了。
1.3 學習方向
為了達到擬合出一條比較好的直線，就要讓損失函式最小，損失函式影象如圖所示：
在最低點的時候，損失函式的值最小，那計算機怎麼知道應該往哪邊走，才能到底最低點呢？數學上有乙個梯度的概念，對於線性模型，它指的是斜率，可以通過求引數的偏導來求梯度。但求出來的是正方向上的梯度，我們希望它是往最低點走，因此把方向改為相反方向，也就是負梯度方向。該方法就是梯度下降法。
當維度有很多時，就有如下形式：
機器學習 演算法一 線性回歸
監督學習 給定資料集 部分資料集已有標籤，對其進行學習，再分類 分類問題 無監督學習 給定一系列數，讓機器自己發現規律。聚類問題 回歸問題 是指要 乙個連續值的輸出，比如房價 線性回歸是很常見的一種回歸，用來 或者分類，主要解決線性問題 m 訓練集樣本數 x 輸入變數 y 輸出變數 h 假設函式，給...
機器學習筆記 （一）線性回歸
線性回歸又稱為最小二乘法回歸ordinary least squares ols regression。簡單來說就是一條線性函式來很好的擬合已知資料並 未知資料。在回歸分析中，只包括乙個自變數和乙個因變數，且二者的關係可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩...
機器學習入門（一） 線性回歸
機器學習入門 一 線性回歸 基本要素 1 模型 例如針對房價建立簡單模型，只考慮 與時間的關係 price w area area w age age b 2 資料集 找到一組真實資料並稱之為訓練集，我們希望通過訓練集找到與真實情況最接近的上訴模型的未知引數。一條資料稱之為樣本，其 為乙個標籤。被 ...