文章**至：作者描述了稀疏的l1範數，對於怎麼解這個l1正規化的mp和omp和其他的求解方法，本部落格有篇提到了om和map方法，鏈結為：mp+omp，l1正規化實現各種**在
通常情況下，欠定線性方程是沒有唯一解的，如果加上其他的條件則可以縮小解得範圍，比如加上二範數最小化這個條件，則方程可以得到最小範數解，該解唯一，我們知道二範數是能量的度量單位，它是用來度量重構誤差的，如果我們不用二範數改用另外的附加條件，比如稀疏性，要求方程的解具有最小數目的非零項，也就是零範數，那麼方程到底有沒有唯一解，怎麼證明求得的是全域性解而不是區域性解，此外假設有全域性的唯一解，那麼求解過程呢，是乙個np問題，既然零範數具有現實意義，那麼可不可以找它的近似解呢，這就引出了l1範數最小化問題，用1範數來代替0範數的話，他們最終求的解是不是一致，是不是1範數求的解一定是0範數解的近似值，這兩個解得誤差有多大，是不是可以被接受，當然這些問題不屬於我們這些搞影象處理的小魚小蝦來研究，我們只需要接受結果就行，剩下的證明推導是那些搞應用數學的大牛的事情。
再看一下訊號處理領域的sparse，我們應該熟悉jpeg跟jpeg2000的區別吧，jpeg的核心演算法是dct，而後者是dwt，本質上，這兩種處理方法都是將訊號從乙個域變換到另外乙個域（把座標系進行旋轉，將訊號投影到不同的基上），從而獲得訊號的稀疏表示，即用最少的係數來表示訊號，不過dwt比dct更加稀疏而已。訊號不同，對應最稀疏表達的基也會不同，比如，對於一維訊號可能小波基是最稀疏的，而對於影象而言，可能那些curvelet和contourlet是最優的，對於有些訊號，也有可能需要將幾種基結合起來才是最優的。當然，我們可以通過求解零範數問題來得到訊號的最稀疏表達。
人們習慣於用正交基來表示訊號，直到最近幾十年，人們才發現用冗餘的基元素集合來表示訊號能夠取得更好的結果，當然我們追求的肯定是用最小數量的基元素來最優的表示訊號，這就出現了訊號的稀疏表示。
l1範數最小化最早並不是donoho提出的，早在80年代，fadil santosa 和william symes就曾提出了l1範數的最小化，而donoho提出compressed sensing 並不是換湯不換藥，cs並不是解決訊號在乙個完備集裡面的最優表示問題的，而是提出了一種新的訊號採集或者測量方式，這種新的測量方式打破了shannon-nyquist定理在訊號處理領域一手遮天的局面，已經提出，就引起了相關領域大批學者的關注。shannon-nyquist取樣定理要求在訊號的採集階段以高於訊號頻寬的兩倍取樣率來獲取訊號，訊號才能得到完美的重構，而cs則對訊號的頻寬不再作要求，取而代之的是稀疏性，滿足條件的訊號則可在遠少於sn取樣率的情況下精確的重構訊號。
從數學上來說，cs是在一定的條件下求解欠定方程，條件包括x要是稀疏的，測量矩陣要滿足rip條件，那麼欠定方程就會以很大的概率有唯一解
當然求解訊號的稀疏表達問題，被分成兩種型別：l1範數最小化，和啟發式的貪婪演算法。l1範數最小化是通過用l1範數來近似0範數，取1而不取1/2,2/3或者其他值，是因為1範數最小化是凸優化問題，可以將求解過程轉化成有乙個線性規劃問題。
L1範數與L2範數對比
l0範數是指向量中非0的元素的個數。l0範數很難優化求解 l1範數是指向量中各個元素絕對值之和 l2範數是指向量各元素的平方和然後求平方根 l1範數可以進行特徵選擇，即讓特徵的係數變為0.l2範數可以防止過擬合，提公升模型的泛化能力，有助於處理 condition number不好下的矩陣 資料變化...
稀疏表示字典學習與L1 L2範數
兩個流程 訓練字典 重建。l1使權值稀疏。l2防過擬合。l1範數可以使權值稀疏，方便特徵提取。l2範數可以防止過擬合，提公升模型的泛化能力。l1和l2正則先驗分別服從的分布 l1是拉普拉斯分布，l2是高斯分布。l0 範數是 x 0 xi xi不等於0 代表非0元素的個數，1,2,3,4,5 非0個數...
L1 L2範數理解 Ridge以及Lasso回歸
l0範數 指向量中非0的元素的個數。l0範數很難優化求解 l1範數 指向量中各個元素絕對值之和 l2範數 指向量各元素的平方和然後求平方根 注 l0範數,指向量中非零元素的個數。無窮範數,指向量中所有元素的最大絕對值。l1範數 可以進行特徵選擇，即讓特徵的係數變為0.l2範數 可以防止過擬合，提公升...