華電北風吹
天津大學認知計算與應用重點實驗室
日期：2015/11/25
線性回歸是統計學裡面乙個非常重要的部分，在本系列的第二部分主要總結一些線性回歸的統計學指標。並且不定期更新。
一、統計學名詞
樣本與系列第一篇表示一樣表示為(x
(i),
y(i)
) ，模型對於x(
i)的**值為y^
(i)=
θ^tx
(i) ，所有樣本的y(
i)的均值表示為y¯
=1m∑
mi=1
y(i)
. 下面來看三個度量指標
1、總離差平方和 ss
t=∑m
i=1(
y(i)
−y¯)
2 2、誤差平方和(殘差平方和) ss
e=∑m
i=1(
y(i)
−y^(
i))2
3、回歸平方和 ss
r=∑m
i=1(
y^(i
)−y¯
)2並且對於這三個指標有 ss
t=ss
e+ss
r 二、線性回歸顯著性指標
1、復相關係數 r2
=ssr
sst=
1−ss
tsst
很顯然r值範圍為[0,1]，並且r越接近與1，說明線性關係越強。
2、f檢驗 f=
ssr/
n−1s
se/m
−n服從f(
n−1,
m−n)
分布，因此可以使用f檢驗來判斷回歸顯著性。
ML 線性回歸系列（三） 嶺回歸
華電北風吹 日期 2015 11 25 本文主要對嶺回歸 ridge regression 進行總結。本系列的第一篇中線性回歸的轉化為如下的無約束優化問題 min m i 1 y i tx i 2 0 1 其中，x i r n 1 表示每個樣本都是n維向量，y i 表示樣本x i 對應的標籤，rn ...
ML 線性回歸系列（四） lasso mtl
andrew zhang nov 25,2015 本文主要對套索回歸 lasso 進行總結。本系列的第一篇中線性回歸的轉化為如下的無約束優化問題 min m i 1 y i tx i 2 0 1 其中，x i r n 1 表示每個樣本都是n維向量，y i 表示樣本x i 對應的標籤，rn 1 表示引...
ML 線性回歸
說句廢話，相信大多數人和我一樣，最開始學習機器學習遇到的第乙個模型便是線性回歸，而且是一元線性回歸，但就這個模型，其實包含了很多的知識點，矩陣計算，最小二乘 梯度下降等知識點。我認為非常的有趣。這裡只是乙個簡單的介紹。1問題的引入 假設有乙個房屋銷售的資料如下 面積銷售 123250 150320 ...