稀疏指的是引數或者資料中零的個數,零的個數越多,引數或者資料就越稀疏.這種稀疏性帶來許多優點.
引數稀疏有什麼好處
1）特徵選擇(feature selection)： 大家對稀疏規則化趨之若鶩的乙個關鍵原因在於它能實現特徵的自動選擇。一般來說，xixi
xi的大部分元素（也就是特徵）都是和最終的輸出yi沒有關係或者不提供任何資訊的，在最小化目標函式的時候考慮xi這些額外的特徵，雖然可以獲得更小的訓練誤差，但在**新的樣本時，這些沒用的資訊反而會被考慮，從而干擾了對正確yi的**。稀疏規則化運算元的引入就是為了完成特徵自動選擇的光榮使命，它會學習地去掉這些沒有資訊的特徵，也就是把這些特徵對應的權重置為0。
2）可解釋性(interpretability)： 另乙個青睞於稀疏的理由是，模型更容易解釋。例如患某種病的概率是y
yy，然後我們收集到的資料x
xx是1000維的，也就是我們需要尋找這1000種因素到底是怎麼影響患上這種病的概率的。假設我們這個是個回歸模型：y=w
1∗x1
+w2∗
x2+…
+w
1000∗x
1000+b
y=w1*x1+w2*x2+…+w1000*x1000+b
y=w1∗x
1+w2
∗x2+
…+w1
000∗
x100
0+b（當然了，為了讓y限定在[0,1]的範圍，一般還得加個logistic函式）。通過學習，如果最後學習到的w∗w*
w∗就只有很少的非零元素，例如只有5個非零的wiwi
wi，那麼我們就有理由相信，這些對應的特徵在患病分析上面提供的資訊是巨大的，決策性的。也就是說，患不患這種病只和這5個因素有關，那醫生就好分析多了。但如果1000個wiwi
wi都非0，醫生面對這1000種因素.
稀疏性優點總結
參考:
機器學習 稀疏性的優點
稀疏指的是引數或者資料中零的個數,零的個數越多,引數或者資料就越稀疏.這種稀疏性帶來許多優點.引數稀疏有什麼好處 1 特徵選擇 feature selection 大家對稀疏規則化趨之若鶩的乙個關鍵原因在於它能實現特徵的自動選擇。一般來說，xi的大部分元素 也就是特徵 都是和最終的輸出yi沒有關係或...
稀疏矩陣 迷失密林 直觀了解機器學習的稀疏性
全文共2096字，預計學習時長6分鐘 看看這個美麗的森林，現在，假設你有機會在其中進行資料分析。你的任務是找出森林中每個區域的熊貓數量與樹木數量的比。成功分析後，會發現樹木的密度高於熊貓密度。轉換為矩陣形式，差不多是這個樣子 其中散落著一些可愛的大熊貓，但是矩陣的密度主要源於樹木。設樹木值 0 則熊...
公釐波通道的稀疏性分析
公釐波通道矩陣的方向向量 a t exp j 2 d s in a od 0,n 1 at exp frac 0,n 1 at exp j 2 d sin aod 0,n 1 注意 一般在公釐波通道中，d dd 和 lambda 有 d 1 2 d d 21 的關係。此數量關係是有講究的，好像是有相...