線性回歸演算法梳理

監督學習：資料集中的每個樣本有相應的標籤，根據這些樣本做出**

無監督學習：資料集中沒有標籤。無監督學習的任務是從給定的資料集中，找出可能具有的結構。

泛化能力：指乙個機器學習演算法對於沒有見過的樣本的識別能力。

過擬合欠擬合(方差和偏差以及各自解決辦法)：

欠擬合：模型沒有很好地捕捉到資料特徵，不能夠很好地擬合資料。

交叉驗證

線性回歸是一種通過屬性的線性組合來進行**的線性模型，其目的是找到一條直線或者乙個平面或者更高維的超平面，使得**值與真實值之間的誤差最小化。

損失函式:計算的是乙個樣本的誤差。

代價函式：是整個訓練集上所有樣本誤差的平均。

目標函式：代價函式+正則化項。

梯度下降法：梯度下降法是最早最簡單，也是最為常用的最優化方法。梯度下降法實現簡單，當目標函式是凸函式時，梯度下降法的解就是全域性解。一般情況下其解不保證是全域性最優解，梯度下降法的速度也未必是最快的。梯度下降法的優化思想是用當前位置負梯度方向最為搜尋方向，因為該方向為當前位置的最快下降方向，所以也稱為是「最速下降法」。最速下降法越接近目標值，步長越小，前進越慢。

牛頓法：牛頓法是一種在實數域和複數域上近似求解方程的方法。方法使用函式f (x)的泰勒級數的前面幾項來尋找方程f (x) = 0的根。牛頓法最大的特點就在於它的收斂速度很快。

擬牛頓法：牛頓法是典型的二階方法，其迭代次數遠遠小於最值下降法，但是牛頓優化法使用了二階導數∇2f(x)∇2f(x)，在每輪迭代中涉及海森矩陣的求逆，計算複雜度相當高，尤其在高維問題中幾乎不可行。若能以較低的計算代價尋求海森矩陣的近似逆矩陣，則可以顯著降低計算的時間，這就是擬牛頓法。

class
sklearn
.linear_model.linearregression(fit_intercept=
true
, normalize=
false
, copy_x=
true
, n_jobs=
none
)

normalize：boolean，optional, default true

copy_x：boolean，optional, default true

n_jobs：int or none, optional (default=none)

線性回歸演算法梳理

線性回歸演算法梳理

線性回歸演算法梳理

線性回歸演算法梳理

相關推薦