線性回歸演算法梳理

有監督：資料做過標記

無監督：對原始資料進行處理，未做標記

泛化能力：由訓練資料建立的模型對同類問題的解決能力

過擬合：模型過於複雜導致解決問題能力差

欠擬合：模型過於簡單導致擬合資料的能力差

(方差和偏差以及各自解決辦法）

交叉驗證：當資料比較少時，將資料分成n份，取n-1份做訓練集，1份做驗證集，改變驗證集再進行訓練，優化引數。

對於方差、偏差、欠擬合和過擬合可以參考：

模型：y=w1*x+w0

通過取適合的引數w1和w0，使**值和實際值的差值最小。

損失函式：估計實際值和**值的不一樣的程度的函式

代價函式：衡量**值和實際值之間差距的函式

目標函式：代價函式和正則項之和

優化方法是通過變更模型引數使損失函式減小的方法

梯度下降法：w1=w1-k(dl/dw)。

牛頓法：利用泰勒展開公式的前幾項計算極值。

擬牛頓法：構造可以近似海森矩陣的正定對稱矩陣來優化目標函式。

平均絕對誤差：

均方誤差：

在呼叫時直接import就可以了

import sklearn

線性回歸演算法梳理

機器學習的一些概念 有監督 有目標值y 無監督 無目標值y 泛化能力 在 集上的 能力 過擬合欠擬合 方差和偏差以及各自解決辦法 測試集 能力不好叫欠擬合，在測試集上ok，訓練集ng 方差能解決過你和問題，偏差能解決欠擬合問題 交叉驗證 將樣本分為n分，按照一定的劃分方式劃分訓練集和測試集，互相交叉...

線性回歸演算法梳理

監督學習 資料集中的每個樣本有相應的標籤，根據這些樣本做出 無監督學習 資料集中沒有標籤。無監督學習的任務是從給定的資料集中，找出可能具有的結構。泛化能力 指乙個機器學習演算法對於沒有見過的樣本的識別能力。過擬合欠擬合 方差和偏差以及各自解決辦法 欠擬合 模型沒有很好地捕捉到資料特徵，不能夠很好地擬...

線性回歸演算法梳理

線性回歸演算法梳理 2.線性回歸的原理 3.線性回歸損失函式 代價函式 目標函式的概念 4.一元線性回歸的引數求解公式推導 5.多元線性回歸的引數求解公式推導 6.線性回歸的評估指標 7.參考資料 文中肯定有許多描述不恰當 理解不到位的地方，希望大神們拍正。另外文中一些段落是在引用了一些其它博文的話...