最近一直在學習特徵表達和學習的理論基礎，從稀疏編碼到卷積神經網路，直到最近很火的深度學習，感覺有那麼些啟發。特此記錄一下學習新得。
影象特徵的表達從開始的畫素表示，到後來畫素特徵組成的特徵描述子（sift， surf， hog等）都是為了尋找最有效的資訊表達，如何將特徵進行加工和處理得到更加深入層次的表示是研究重點。看看voc2010（開啟：鏈結）的發布結果，裡面包含最近幾年有關機器視覺各個方向的成果。總結這些方法，基本上就那些影象特徵的使用（dense sift+spatial pyramid），然後就是亂七八糟的融合了，歸結都低就是multiple kernel learning以及一些近似的演算法。多核就是融合多特徵、多模型，起到互補的作用，相關的可以了解整合學習、多分類器系統、多核學習的內容。
儘管如此，deeplearning 作為新的革命誕生了，原理啟發於神經科學，人腦對資訊的多層逐步遞增處理的模式。繞開眾多unlabel 資料的標記難度，位元組將底層的特徵作為輸入，每層將學習到的特徵作為下一層的輸入，如此，經過網路逐層遞增的學習，得到最終highlevel的features。關於深度學習的資料可以參考我前面的文章：深度學習資料彙總（全）。
從感知機到深度學習
一 從感知機到深度學習 第乙個正式的神經元模型是由沃倫 麥卡洛克 warren maculloach 和沃爾特 皮茨 walter pitts 於1943.年提出的。這個模型看起來很像組成計算機的邏輯門。麥克洛克 皮茨神經元做不了的事情就是學習。為此我們需要對神經元之間的連線給予不同的權重，這就是所...
時間特徵在深度學習中的表示問題
這幾天對於時間序列的 需要時間這一特徵值，月份，星期等等。對於這些時間序列特徵需要怎麼去刻畫和表示嗯？one hot方法 乙個直觀想到的方法就是one hot法，但是仔細考慮一下，one hot真的適合表示時間序列嗎？one hot適用於的特徵應該是分類特徵，而且不同類別之間的距離是沒有差別的，比如...
深度學習 TensorFlow 「從入門到放棄」
想跟一下深度學習的浪潮，所以在網上購買了兩本深度學習的框架書，一本是 tensorflow 另外一本是 caffe 因為剛剛看完了python的基礎語法，caffe書上的例項 是用的c 所以先讀了tensorflow這本書。tensorflow在pycharm中的配置還是比較簡單的，使用pip in...