稀疏編碼(sparse coding)和低秩矩陣(low rank)的區別
上兩個小結介紹了稀疏編碼的生命科學解釋，也給出一些稀疏編碼模型的原型(比如lasso),稀疏編碼之前的**文章就不說了，今天開始進入機器學習領域的稀疏表達。稀疏編碼進入機器學習領域後，出現了很多應用，比如計算視覺領域的影象去噪，去模糊，物體檢測，目標識別和網際網路領域的推薦系統（collaborative filtering）用到的low rank,其實sparsecoding和low rank有點區別，前者是稀疏係數，後者是稀疏基。就統稱他們為稀疏表達吧。接下來簡單的闡述下sparse coding和low rank的區別：
sparsecoding就是圍繞著
不過還是要強調一下d表示一張影象向量，假設維度為m。這樣某個樣本可以表示為：
，這下終於和sparse coding扯上關係咯，alpha是稀疏的，好多0啊
到此位置機器學習的sparse coding模型基本就搭建好了，接著要做的就是對它求解，不得不說的是公式中都是未知數，看上去解很多，不過還有乙個約束沒用上，就是讓alpha和e的非零個數盡可能的少，稀疏嘛，因此最終建立模型(公式一)所示：
（公式一）
對其優化求解就行了，常用的方法有coordinate descent和orthogonal matching pursuit（omp）方法，求解的alpha和e是稀疏的，但是求解方法主要看優化，各種優化演算法層出不窮，這個話題就打住吧。
現在來看下low rank,先來看乙個經典問題，如(圖一)所示：
（圖一）
（圖二）
優化求解模型如（公式二）所示：
（公式二）
沒錯，和上面一樣，又要求x又要求theta,求解方法仍然可以採用 coordinate descent,但也有其他求解方法，其他方法主要從凸優化的角度來考慮，數學界的新星陶哲軒證明了在rip條件下l0範數（就是計算元素數的）優化和 l1範數優化具有相同的解，然後l1範數是個凸優化問題，順便鬆弛到trace norm來求解，背後有很多數學證明，今天就說到這了，優化求解方法以後慢慢來觸及吧。
對於稀疏表示的應用可以看看一篇名為「稀疏表達」的上中下博文
Sparsity稀疏編碼（三） （值得閱讀）
稀疏編碼 sparse coding 和低秩矩陣 low rank 的區別 上兩個小結介紹了稀疏編碼的生命科學解釋，也給出一些稀疏編碼模型的原型 比如lasso 稀疏編碼之前的 文章就不說了，今天開始進入機器學習領域的稀疏表達。稀疏編碼進入機器學習領域後，出現了很多應用，比如計算視覺領域的影象去噪，...
稀疏編碼 Sparse Coding
影象是有一些基的線性組合形成。自然影象是個稀疏結構，即任何給定影象都可以用大資料裡面的少數幾個描述符 基 來表示。尋找使得每個係數的概率分布是單模態並且在0處是峰分布的低熵 low entropy 方法。1988年，神經稀疏編碼的概念由mitchison提出，由牛津大學的rolls等正式引用。靈長目...
個人稀疏編碼筆記
b ax其中，a rn m b r n,x rm,n m 因為的行數 方程個數 n 多於未知引數的個數 m,因此上述方程組是欠定的，其解為 無解or無窮多解，為了保證上述方程有解，此後我們假定 a 是滿秩矩陣。我們追求的結果是找到 b 的稀疏表示方法，也即設法找到a,x使得在該對映變換下，x 是 b...