以上即為引數
梯度下降特點:
選擇合適的學習速率α
通過不斷的迭代，找到θ0 ... θn, 使得j(θ)值最小
正規方程特點:
不需要選擇學習速率α，不需要n輪迭代
只需要乙個公式計算即可
但是並不是所有的線性回歸都適合用正規方程，我們知道求解乙個矩陣的逆複雜度為o(n^3)，因此當特徵維度n非常大的時候(x^t * x)^-1需要o(n^3)時間，此時選擇正規方程效率將會特別低
當n < 1000時候選擇正規方程比較合適，但是當n > 1000的時候使用梯度下降演算法會是更佳的方案
機器學習 演算法一 線性回歸
監督學習 給定資料集 部分資料集已有標籤，對其進行學習，再分類 分類問題 無監督學習 給定一系列數，讓機器自己發現規律。聚類問題 回歸問題 是指要 乙個連續值的輸出，比如房價 線性回歸是很常見的一種回歸，用來 或者分類，主要解決線性問題 m 訓練集樣本數 x 輸入變數 y 輸出變數 h 假設函式，給...
機器學習筆記 （一）線性回歸
線性回歸又稱為最小二乘法回歸ordinary least squares ols regression。簡單來說就是一條線性函式來很好的擬合已知資料並 未知資料。在回歸分析中，只包括乙個自變數和乙個因變數，且二者的關係可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩...
機器學習入門（一） 線性回歸
機器學習入門 一 線性回歸 基本要素 1 模型 例如針對房價建立簡單模型，只考慮 與時間的關係 price w area area w age age b 2 資料集 找到一組真實資料並稱之為訓練集，我們希望通過訓練集找到與真實情況最接近的上訴模型的未知引數。一條資料稱之為樣本，其 為乙個標籤。被 ...