當樣本資料是乙個稀疏矩陣時，對學習任務來說會有不少的好處，例如很多問題變得線性可分，儲存更為高效等。這便是稀疏表示與字典學習的基本出發點。
稀疏矩陣即矩陣的每一行/列中都包含了大量的零元素，且這些零元素沒有出現在同一行/列，對於乙個給定的稠密矩陣，若我們能通過某種方法找到其合適的稀疏表示，則可以使得學習任務更加簡單高效，我們稱之為稀疏編碼（sparse coding）或字典學習（dictionary learning）。
給定乙個資料集，字典學習/稀疏編碼指的便是通過乙個字典將原資料轉化為稀疏表示，因此最終的目標就是求得字典矩陣b及稀疏表示α，書中使用變數交替優化的策略能較好地求得解，再次不進行深入。
與特徵選擇、稀疏表示不同的是：壓縮感知關注的是通過欠取樣資訊來恢復全部資訊。在實際問題中，為了方便傳輸和儲存，我們一般將數字資訊進行壓縮，這樣就有可能損失部分資訊，如何根據已有的資訊來重構出全部訊號，這便是壓縮感知的來歷，壓縮感知的前提是已知的資訊具有稀疏表示。下面是關於壓縮感知的一些背景：
詳細版請參考：
稀疏表示與壓縮感知
最近在看機器學習時，看到一章關於稀疏學習的，之前有了解過稀疏表示與壓縮感知，但是兩者之間的差異並不是很清楚，今天就總結一下吧 稀疏表示 稀疏域模型 sparse land model 即訊號的稀疏表示，它意欲用盡可能少的非0係數表示訊號的主要資訊，從而簡化訊號處理問題的求解過程。稀疏域模型可如表示式...
稀疏表示和字典學習
稀疏表示 假設有乙個mn的矩陣y，我們要找到乙個mk的字典矩陣d和乙個稀疏的kn的係數矩陣x，使得使得y盡可能由dx表示，x就是y的稀疏表示。字典學習 字典學習包括兩個階段，一是字典構建階段，而是利用字典稀疏地表示樣本階段，每個階段都有不同的演算法可以選擇。龐大資料可以由字典裡的基本元素通過不同組合...
稀疏表示 字典學習
online learning toolbox francesco orabona machine perception toolbox mpt 偶然的機會發現了這個工具箱，雖說05年都沒有再更新了，但是很多東西還是可以借鑑的。很好的乙個工具箱，功能包含face detection,eye dete...