傳統的模式識別裡面，主要是對訊號進行特徵提取，然後對特徵進行識別，這樣既能減除大部分無謂的干擾，又能降低識別的運算量。所謂特徵就是訊號的本質，本質總是能通過各種形式表現出來，表現形式就是訊號本身，我對訊號本質進行抽取，也就是特徵。
大家熟知的一種正交變換就是傅利葉變換，他能把訊號轉換到頻率域，也就是將訊號拆分成多個正弦訊號，所以他的正交基組是正弦函式。其實也可以理解給定訊號在正弦基組上的投影，變換的結果就是某些頻率點能量較大，大部分頻率點能量很小，這樣就行了能量集中，形成了一種稀疏表示，我們訊號處理就方便很多。
當時學習影象dct變換的時候，我就在想，既然dct具有能量集中的效果，那麼我對dct結果再進行dct變換，是不是就更集中呢，這樣形成乙個鏈條，資料就越來越集中，最後給定乙個訊號，只用乙個頻率值就能表示，然後反覆逆變換就可以得到訊號，這個壓縮率將有大大的提高，識別也方便很多。然後我就開始去嘗試對dct變換結果再進行dct變換，然後發現跟之前結果一致，但是就鬱悶了，不知道問題出在什麼地方，然後就放棄。
直到最近看深度學習網路相關理論知識，才突然頓悟，我當時之所以沒有得到想要的結果，是因為我第二次變換所用的基組是一樣的，在同樣的基組讓做投影，當然資料結果一樣，相單于乙個座標基裡面重新畫了資料而已。而深度學習裡面的學習網路一層正是乙個類正交變換，每一層將輸入訊號的輸出乙個稀疏表示，然後層層相連，並傳遞下去，到最後資料將變得極其稀疏，直接就可以識別分類。
雖然感性認識了深度學習網路的基本原理，但是各個層級之間該怎級聯，每層該用什麼變換，目前並沒有數學證明，現在只是用大量的資料並結合反向傳播演算法來訓練每層變換的正交基。這個也許等哪一天數學家們證明了資料什麼基組級聯能得到唯一稀疏表示，那麼人工智慧將發生質的飛躍，並為人類所控。
深度學習網路與演算法整理
一.基礎網路 1.2014 vgg very deep convolutional networks for large scale image recognition 翻譯 2.tensorflow實現vggnet 3.python3下tensorflow練習 六 之vgg16 vgg19探索 4...
深度學習網路優化與超引數選擇
過擬合 在訓練資料上得分很高，在測試資料上得分相對比較低 欠擬合 在訓練資料上得分很低，在測試資料上得分相對比較低 與網路中的可訓練引數成正比。網路中的神經單元數越多，層數越多，神經網路的擬合能力越強。但是訓練速度 難度越大，越容易產生過擬合。所謂超引數，也就是搭建神經網路中，需要我們自己如選擇 不...
關於深度學習網路的發展概述 濃縮版
誕生 相比較於傳統的hog svm方法而言是一種新的方法，用來識別目標，例如用來識別mnist資料集，有不錯的成績 基本思想 區域性感受野 權值共享 池化 濾波器 損失函式 特徵提取 解決的問題 完成了的分類任務 誕生在神經網路訓練之前加入建議候選框 region proposal 層，所以新的網路...