前些天被boss批評，後來好好想了一下，覺得很有道理，很多看似基本的東西，還是得自己推一遍啊，mark一下，以後要注意，切勿眼高手低。3、sparse activations vs. sparse models
現在可以用a=f(x)表示稀疏編碼的問題了。它可以分解成兩種情況：
1）sparse model：f(x)的引數是稀疏的
--例如：lasso f(x)=（w,x），其中w要求是稀疏的。（jiang1st2010注：這個例子中f(x)也是線性的！）
--這是乙個特徵選擇的問題：所有的x都挑選相同的特徵子集。
--hot topic.
2）sparse activation：f(x)的輸出是稀疏的
--就是說a是稀疏的。
--這是特徵學習的問題：不同的x會啟用不懂的特徵子集。
迭代求解字典d
迭代求解表示h
引用：
1. 理解sparse coding
未完待續。。。
稀疏編碼 Sparse Coding
影象是有一些基的線性組合形成。自然影象是個稀疏結構，即任何給定影象都可以用大資料裡面的少數幾個描述符 基 來表示。尋找使得每個係數的概率分布是單模態並且在0處是峰分布的低熵 low entropy 方法。1988年，神經稀疏編碼的概念由mitchison提出，由牛津大學的rolls等正式引用。靈長目...
sparse coding稀疏表達入門
最近在看sparse and redundant representations這本書，進度比較慢，不過力爭看過的都懂，不把時間浪費掉。才看完了不到3頁吧，書上基本給出了稀疏表達的概念以及傳統的求法。我也用書中的例子來引入吧。1 矩陣a n m 其中n遠遠小於m，一副經過縮小或者模糊處理導致該所占用...
機器學習005 Sparse Coding
稀疏編碼與pca的區別 回顧一下pca 1.原資料點與投影點距離最小化 協方差最大化 2.奇異值分解得到完備基 pca的關鍵 稀疏編碼與pca不同，它得到的是超完備基，即向量基的個數比最大無關向量組多。但是多多少呢？pca得到的是完備基，因此係數向量是唯一的 但是超完備基的係數向量不唯一。那麼如何得...