andrew zhang
nov 25, 2015
本文主要對套索回歸(lasso)進行總結。
本系列的第一篇中線性回歸的轉化為如下的無約束優化問題
minθ∑m
i=1(
y(i)
−θtx
(i))
2(0-1)
其中，x(
i)∈r
n×1 表示每個樣本都是n維向量，y(
i)表示樣本x(
i)對應的標籤，θ∈
rn×1
表示引數向量。與之等價的矩陣形式為
minθ||
xθ−y
||22
(0-2)
其中x=
(x(1
),x(
2),.
..,x
(m))
t∈rm
×n,y
=(y(
1),y
(2),
...,
y(m)
)t.一、least absolute shrinkage and selection operator(lasso)
基本的lasso目標函式為
minθ∑m
i=1(
y(i)
−θtx
(i))
2+λ⋅
||θ|
|1(1-1)
與之等價的矩陣形式表述為
minθ||
xθ−y
||22
+λ⋅|
|θ||
1(1-2)
相比於線性回歸，這裡多了一項正則項引數—l1範數，不同於嶺回歸的l2範數，這裡加了l1範數以後，最後得到的
θ 的很多分量都是是0，因此lasso經常用於特徵選擇。
二、標準的多工學習
在對疾病進行分類的時候，會採取他的eeg訊號和mri訊號，來對病人病情進行判別。當然我們可以對eeg訊號和mri訊號分別抽取特徵，分別建立乙個分類器。但是這樣往往會損失他們不同模態之間的資訊。這時候就可以使用多工學習的方法，對模型進行特徵選擇。
標準的多模特徵選擇基於l2,1範數，假設有k個任務時，如下圖
目標函式為
minθ12
∑kj=
1||x
jθj−
yj||
22+λ
⋅||θ
||2,
1(2-1)
需要注意這裡的符號與前面的表述稍微有點區別。mj
表示第j個任務下樣本個數，xj
∈rmj
×n表示第j個任務下的所有樣本，yj
∈rmj
×1表示這個任務下的mj
個樣本對應的標籤向量，θj
∈rn×
1 表示第j個任務下的模型引數向量，θ=
(θ1,
θ2,.
..,θ
k)∈r
n×k 。
與之等價的矩陣形式為(來自於slep manual，這裡我認為有錯，保留)
minθ||
xθ−y
||22
+λ⋅|
|θ||
2,1(2-2)
其中x=
[x1;
x2;.
..;x
k]∈r
m×n,
y=(y
1,y2
,...
,yk)
∈rm×
1 。
補充：矩陣的l2,1範數定義如下 θ∈
rn×k
,||θ
||2,
1=∑n
i=1|
|θi|
|2=∑
ni=1
(∑kj
=1θ2
i,j)
12三、參考資料
更多參考資料
ML 線性回歸系列（三） 嶺回歸
華電北風吹 日期 2015 11 25 本文主要對嶺回歸 ridge regression 進行總結。本系列的第一篇中線性回歸的轉化為如下的無約束優化問題 min m i 1 y i tx i 2 0 1 其中，x i r n 1 表示每個樣本都是n維向量，y i 表示樣本x i 對應的標籤，rn ...
ML 線性回歸
說句廢話，相信大多數人和我一樣，最開始學習機器學習遇到的第乙個模型便是線性回歸，而且是一元線性回歸，但就這個模型，其實包含了很多的知識點，矩陣計算，最小二乘 梯度下降等知識點。我認為非常的有趣。這裡只是乙個簡單的介紹。1問題的引入 假設有乙個房屋銷售的資料如下 面積銷售 123250 150320 ...
ML 線性回歸系列（二） 基礎統計
華電北風吹 天津大學認知計算與應用重點實驗室 日期 2015 11 25 線性回歸是統計學裡面乙個非常重要的部分，在本系列的第二部分主要總結一些線性回歸的統計學指標。並且不定期更新。一 統計學名詞 樣本與系列第一篇表示一樣表示為 x i y i 模型對於x i 的 值為y i tx i 所有樣本的y...