1.2線性回歸模型
1.3目標函式(損失函式)
1.4最小二乘法
1.5 sklearn用法
1.6 區域性加權線性回歸
1.7 總結
2、邏輯斯特回歸（logistic regression）
3、廣義線性模型（generalized linear models）
構建的模型由線性函式組成的回歸問題就可以稱之為線性回歸,也可以理解為輸出值是輸入變數的線性組合。
1.1.1回歸的概念
機器學習中通常按照輸出值型別的不同把問題分為回歸問題和分類問題：
回歸問題中**的結果通常是乙個實數，是一種定量輸出，且輸入變數與輸出變數均為連續變數。
分類問題中**的結果通常是有限個離散變數，是一種定性輸出。
1.1.2線性關係給定乙個資料集 d
=d = }
d=。共有m組資料，其中每乙個xi=
[xi1
,...
,xin
]x_i = [x_,...,x_]
xi=[x
i1,
...,
xin
]代表x
ix_i
xi有n個特徵，y
yy為對應的標籤，也就是輸出資料。我們想通過乙個x的函式h(x
)h(x)
h(x)
去擬合標籤yyy.
(1) y′
=hθ(
x)=θ
0+θ1
x1+⋯
+θnx
n=θt
xy'=h_\theta\left(x\right)\theta_+\theta_}+\cdots+\theta_} = \theta^t\tag
y′=hθ
(x)=
θ0+
θ1x
1+⋯
+θn
xn=
θtx(
1)其中y ′y'
y′是我們模型的輸出，θ= [θ0,θ1，···，θn]是線性模型的引數。最終的目標是使得模型輸出的y′y'
y′盡可能的等於標籤y，這樣才能說明我們的模型擬合資料的能力強。
那我們如何去評價我們的模型擬合資料的程度呢？所以我們提出目標函式：
(2) y(
θ)=1
2∑i=
1m(h
θ(xi
)−yi
)2
y(\theta)=\frac 1 \sum_^ \tag
y(θ)=2
1i=
1∑m
(hθ
(xi)
−yi)
2(2)
目標函式越小，證明我們的模型越好。
既然是最小化目標函式，為什麼我們不用簡單的目標值和實際值的絕對值作為目標函式呢？具體證明如下：
證明具體證明見我
主要思想：我們盡量讓模型的輸出和標籤之間的誤差呈現乙個均值為0的正態分佈，為了最小化這個誤差得到上面的公式(2)。
當然我們也可以定義別的損失函式，形式都差不多，但是不同的數學證明代表的實際意義不同。
接下來我們的任務就是min
min \
min最小二乘法（又稱最小平方法）是一種數學優化技術，它通過最小化誤差的平方和尋找資料的最佳函式匹配。如何實現最小二乘法？我們可以通過梯度下降、牛頓法、正規方程組來求解。
1.4.1梯度下降
梯度下降有乙個大家族，常用的應該是（mini-batch gradient descent）。在深度學習中，通過乙個資料來決定梯度方向效果可能不好（sgd），但是用太多的資料記憶體可能就放不下（batch gradient descent）而且耗時，所以我們採用小批量梯度下降，結合兩者優點。後續可能會專門寫優化器，在此不再細說。
1.4.2 牛頓法
優點：速度快
1.4.3 正規方程組
根據矩陣求導，最終得到
(3) θ=
(xtx
)−1x
ty
\theta= (x^tx)^x^ty\tag
θ=(xtx
)−1x
ty(3
)1.5.1 引數定義
class sklearn.linear_model.linearregression(fit_intercept=true, normalize=false, copy_x=true, n_jobs=1) #預設引數值引數含義和使用方法看我
區域性加權線性回歸：目的是解決對不規則函式進行回歸時容易出現的欠擬合與過擬合問題——離**點越近的點權重越大，離**點越遠的點權重越小。
線性回歸：主要思想是通過輸入資料的線性組合去擬合目標。通過實際值和**值的誤差是高斯分布求出損失函式，最後最小化損失函式得到線性回歸的模型。我們再用這個模型去**別的資料。
線性回歸簡單、易於使用，但是現實生活中資料的特徵和目標之間並不是簡單的線性組合，所以並不能很好的解決具體問題。所以線性回歸常用於資料特徵稀疏，並且資料過大的問題中，可以通過線性回歸進行特徵篩選。在比賽中也可以用線性回歸做乙個baseline。
lr是乙個分類問題，且只能處理二分類問題。本質上他將線性回歸結果通過乙個sigmoid函式把輸出變成0~1之間的概率，通過階躍函式進行分類。
未完待續····
參考文獻：
廣義線性模型和線性回歸
首先術語廣義線性模型 glm 通常是指給定連續和 或分類 變數的連續響應變數的常規線性回歸模型。它包括多元線性回歸，以及anova和ancova 僅具有固定效果 形式為 yi n x 2 其中xi包含已知的協變數，包含要估計的係數。這些模型使用最小二乘和加權最小二乘擬合。術語廣義線性模型 glim或...
廣義線性模型之線性回歸（一）
注 本文若沒特殊宣告，所有截圖均來自cs229 machine learning lecture notes 1 監督學習中，最常見的是線性回歸和分類問題。然而，我們熟知的linear regression和logistic regression這兩個機器學習演算法其實只是乙個更廣泛的模型famil...
廣義線性模型
廣義線性模型是線性模型的擴充套件，主要是對非正態因變數的分析 廣義線性擬合的核心是最大似然估計，而不是最小二乘 擬合模型如下 y 0 pj 1 jx j 其中，beta是係數，mu是優勢比的對數，beta係數是對優勢比的影響。通過擬合求得的就是 我們可以通過兩個例子看一下兩種變數 類別型 自變數x ...