目前已有很多方法和技術用於構造分類模型，如決策樹、神經網路、貝葉斯方法、fisher線性分析(fld)以及支援向量機(support vector machine,svm)。
基於超完備字典的訊號稀疏分解是一種新的訊號表示理論，其採用超完備的冗餘函式系統代替傳統的正交基函式，為訊號自適應的稀疏擴充套件提供了極大的靈活性。稀疏分解可以實現資料壓縮的高效性，更重要的是可以利用字典的冗餘特性捕捉訊號內在的本質特徵。
訊號稀疏分解的基本思想是：使用超完備的冗餘函式字典作為基函式，字典的選擇盡可能地符合被逼近訊號的結構，字典中的元素被稱為原子。利用貪婪演算法或者自適應追蹤演算法，從字典中找到具有最佳線性組合的很少的幾項原子來表示乙個訊號，也稱作高度非線性逼近。本文主要利用字典的冗餘特性可以更好地捕捉訊號本質特徵這一特點，提出資料分類演算法src。實驗結果表明，src演算法在分類準確性上優於svm和fld演算法，不平衡資料集的分類實驗結果顯示了該演算法的魯棒性。
幾個專業名詞解析：
原子：字典的列向量。
完備字典與過完背字典：如果字典d中的原子恰能夠張成n維的歐式空間，則字典d是完備的。如果m》n，字典d是冗餘的，同時保證還能張成n維
的歐式空間，則大字典d是過完備的。
面對稀疏表示模型，有三個關鍵問題需要解決，如下:
1.如何有效獲取影象在字典中下最稀疏的分解係數。2.如何設計與構建有效的影象稀疏表示字典。3.如何將影象稀疏表示模型應用於具體的影象處理反問題中。
首先，dictionary是一種sparse representation（稀疏表示）的模型。比如你的資料是y，字典是d，y=dx，其中x是稀疏的。
如 果你的d是方陣或者長方形矩陣（正交矩陣除外），字典很可能是不確定的。相反的，如果你的d是個fat matrix 冗餘矩陣，形象地講，你擁有多於必要的列來表達這個資料（冗餘）。這樣的字典稱為overcomplete dictionary。
這種字典的優勢是更有利於表達highly diversified（高度多元化）的資料（影象）。
**特徵學習的過程中，假設學習的碼書d的大小為m。每個碼字的維數為n。每個原始特徵yi的維數也為n。假設原始特徵投影到碼書上以後的特徵向量是xi（m維的向量），那麼用d和xi對yi重建的過程就是：yi=d*xi。
coding的過程就變成了已知yi和d，求xi的過程了。顯然這是乙個非齊次方程組求解的 問題，方程組有解的條件是rank(d)≤m，其中取等號時方程組有唯一解。過完備的定義是m>>n，所以此時 rank(d)≤n這裡和這裡）中稍微介紹過，這裡就不再廢話。
特徵選擇的過程，也是一樣的。假設此時有n個樣本，每個樣本有個measurement（這個measurement可以是regression中的output，也可以是classification中的label）。每個樣本的特徵是p維的，n個樣本的特徵組成n*p的矩陣a。目標是對這p維特徵做乙個選擇，選擇的係數用x記錄。此時將如下圖所示：
這與第乙個圖是等價的，特徵選擇過程中的over-complete是指p>>n，不加約束的情況下x將有無窮多組解，所以和特徵學習一樣， 加係數的約束。xi為0表示相應的特徵不被選擇。（而xi<0，等價於取乙個|xi|，而將相應的特徵的值取負號。）
如果measurement不是一維的咋辦？比如multi-label的問題。我猜測把x的列維數也擴充套件成相應大小，然後根據label之間的correlation加低秩等約束吧。
**稀疏表示是最近幾年訊號處理領域的熱點之一，簡單來說，它其實是一種對原始訊號的分解過程，該分解過程借助乙個事先得到的字典（也有人稱之為過完備基，overcomplete basis
，後面會介紹到），將輸入訊號表示為字典的線性近似的過程。即：
過完備字典
在這個二維空間中，有兩個基向量，那麼任意乙個在該平面的的向量可以由這兩個向量線性疊加。如果將 0，1 與 1,0 分別看做兩個列向量 則表徵乙個二維空間的向量可以寫成矩陣的形式 x為疊加係數。那麼如果乙個向量y一旦確定，那麼x也就是唯一確定的，也就是說y可以由 唯一確定表示，也是乙個滿秩矩陣。那麼如...
稀疏表示 字典學習
online learning toolbox francesco orabona machine perception toolbox mpt 偶然的機會發現了這個工具箱，雖說05年都沒有再更新了，但是很多東西還是可以借鑑的。很好的乙個工具箱，功能包含face detection,eye dete...
基於超完備字典的訊號稀疏分解
關於基於超完備字典的訊號稀疏分解.目前已有很多方法和技術用於構造分類模型，如決策樹 神經網路 貝葉斯方法 fisher線性分析 fld 以及支援向量機 support vector machine,svm 基於超完備字典的訊號稀疏分解是一種新的訊號表示理論，其採用超完備的冗餘函式系統代替傳統的正交基...