最近在看機器學習時，看到一章關於稀疏學習的，之前有了解過稀疏表示與壓縮感知，但是兩者之間的差異並不是很清楚，今天就總結一下吧
稀疏表示
稀疏域模型(sparse-land model)即訊號的稀疏表示，它意欲用盡可能少的非0係數表示訊號的主要資訊，從而簡化訊號處理問題的求解過程。稀疏域模型可如表示式(1)所示，其中y∈r^n為待處理訊號，a∈r^(n×m)為基函式字典，x∈r^m為稀疏表示向量， ||x||_0≪m。||x||_0為x的稀疏度，它表示x中非0稀疏的個數。
可以看做是在乙個字典上我們對現有的乙個文章進行新的編碼，只是這個編碼相對於這個字典和原始的資料來說是稀疏的，如上圖等號的左側可以看做是原始的輸入訊號，中間的彩色部分是字典，最右側是編碼出來的稀疏表示。（這是從表面的直觀上的解釋）。
在小一點的解釋是字典是一組可以表徵原始訊號的一組特徵基，通過對基的組合可以表徵原始的影象，在計算式通常是在原始影象與解碼的的影象上的殘差加上乙個稀疏的約束來生成字典和編碼，這個約束理論上最好是l0正規化，但是l0正規化是np問題，很難正向解出來，但是他有個好的近似的解l1約束來幫其完成使命。在使用中由於l1正規化的解很耗時，人們就使用l2正規化來代替，但是會出現稀疏性下降。
在說一下正規化吧，l0正規化是求非零元素的個數； l1正規化求的是所有元素的絕對值之和； l2正規化求的是元素的平方和。
l1與l2正規化在模型中使用的範圍是很廣泛的，通常是用作正則化，具有一定降低過擬合的效果，只是l1正規化較l2正規化有較好的係數性質。
如此表示就可以算是稀疏表示了，但是關於稀疏的優化，及稀疏的求解還是有很多值得研究的，這個方面就有點偏向數學了，在下就不過多解釋了。
壓縮感知
壓縮感知更多的關於資訊傳播過程中的壓縮與還原的角度。及傳送訊號前壓縮訊號，將訊號傳播至接受出將訊號進行還原，在此壓縮感知主要是想通過接收到的資訊（是指少量的資訊）來盡量還原出原始的資訊。
來看一下壓縮感知的公式：（摘自書中）
在使用中就是利用稀疏性使得未知因素的影響大大減少，進而在進行還原時可以盡量大還原。
壓縮感知與稀疏表示不同，其更關注於如何利用訊號本身所具有的稀疏性，從部分觀測樣本中恢復原始訊號。
通常認為壓縮感知是由 感知測量和重構恢復兩個階段來完成的。
但是在重構恢復的方面其實還是使用一些稀疏表示的原理，壓縮感知的理論上比較複雜。常用的是rip(限制燈具的要求)。
以上只是簡單地介紹，感興趣的可以去深入的了解。稀疏的原理在實際的使用中是比較廣泛的。
稀疏學習與壓縮感知
當樣本資料為稀疏矩陣時，對學習任務有不少好處 稀疏矩陣 矩陣的 每一行 列都包含大量的零元素，且這些零元素沒有出現在同一行 列中。非零元素遠小於零元素 字典學習 側重於為普通稠密表達的樣本找到乙個合適的矩陣 稀疏表示 將樣本轉化為合適的稀釋表示形式，從而使學習任務變得簡單 壓縮感知在前些年也是風風火...
稀疏表示 字典學習和壓縮感知（基本概念）
當樣本資料是乙個稀疏矩陣時，對學習任務來說會有不少的好處，例如很多問題變得線性可分，儲存更為高效等。這便是稀疏表示與字典學習的基本出發點。稀疏矩陣即矩陣的每一行 列中都包含了大量的零元素，且這些零元素沒有出現在同一行 列，對於乙個給定的稠密矩陣，若我們能通過某種方法找到其合適的稀疏表示，則可以使得學...
取樣與壓縮感知
光學基礎知識大講堂 第11期 取樣與壓縮感知 日常生活中，我們通常會遇到這樣的情況，當你看乙個電風扇，剛開始你能分辨得出轉動的方向，速度達到一定程度的時候你已經分辨不出來了，甚至會產生錯覺，似乎扇葉在倒著轉！圖1 風扇轉動 於網路 其實，這就是取樣的問題。在前面全息技術那一期中也有提到過人眼的視覺滯...