冗餘特徵：所包含的資訊有時能從其他特徵中推演出來。如若某個冗餘特徵恰好對應了學習任務所需「中間概念」，有時可以降低學習任務的難度。
為普通稠密表達的樣本找到合適的字典，將樣本轉化為合適的稀疏表達形式，從而使學習任務得以簡化，模型複雜度得以降低，通常稱為『字典學習』（dictionary learning），亦稱『稀疏編碼』（sparse coding）。
字典學習的最簡單形式為：
其中b（d*k）為字典矩陣，k稱為字典的詞彙量，通常由使用者指定，αi是樣本xi的稀疏表示。式中第一項是希望αi能很好地重構xi，第二項則是希望αi盡量稀疏。 其中樣本為d維，稀疏表示為k維。之所以用l1正規化是因為l1正規化正則化更容易獲得稀疏解。
—摘自南大周志華老師寫的《機器學習》11.5節
可參考：
稀疏表示和字典學習
稀疏表示 假設有乙個mn的矩陣y，我們要找到乙個mk的字典矩陣d和乙個稀疏的kn的係數矩陣x，使得使得y盡可能由dx表示，x就是y的稀疏表示。字典學習 字典學習包括兩個階段，一是字典構建階段，而是利用字典稀疏地表示樣本階段，每個階段都有不同的演算法可以選擇。龐大資料可以由字典裡的基本元素通過不同組合...
稀疏表示 字典學習
online learning toolbox francesco orabona machine perception toolbox mpt 偶然的機會發現了這個工具箱，雖說05年都沒有再更新了，但是很多東西還是可以借鑑的。很好的乙個工具箱，功能包含face detection,eye dete...
字典學習與稀疏表示
假設我們用乙個m n的矩陣表示資料集x，每一行代表乙個樣本，每一列代表樣本的乙個屬性，一般而言，該矩陣是稠密的，即大多數元素不為0。稀疏表示的含義是，尋找乙個係數矩陣a k n 以及乙個字典矩陣b m k 使得b a盡可能的還原x，且a盡可能的稀疏。a便是x的稀疏表示。x是y的稀疏表示 sparse...