對於訓練出的乙個稀疏自動編碼器，現在想看看學習出的函式到底是什麼樣子。對於訓練乙個
的影象，
.計算每乙個隱層節點
的輸出值：
我們要視覺化的函式，就是這個以一副2d影象為輸入，以
為引數（忽略偏置項），由隱層節點
計算出來的函式。特別是，我們把
看作是輸入
的非線性特徵。我們很想知道：什麼樣的的影象
能使得成為最大程度的激勵？ 還有乙個問題，就是必須對
加上約束。如果假設輸入的範數約束是
，可以證明，能夠使得隱層神經元得到最大程度啟用的畫素輸入
（所有100個畫素點，
展示出由這些畫素灰度值的構成的影象，我們就可以看到隱層節點學習出了什麼樣的特徵。
如果訓練出乙個含有100個隱層節點的自動編碼器，那麼我們視覺化將會產生100幅影象（每個隱層節點對應一幅）。通過測試這100幅影象，試著理解隱層學習出的整體效果。
下面給出了乙個稀疏編碼器（100個隱層節點，輸入是
的影象）學習出的結果：
上圖的每個小方塊都給出了乙個輸入影象
，它可使這100個隱藏單元（隱層節點）中的某乙個獲得最大激勵。我們可以看到，不同的隱藏單元學會了在影象的不同位置和方向進行邊緣檢測。這些特徵對於物體識別和其他視覺學習任務很有用。當應用到其他領域（如音訊），這個演算法同樣可以學習出很有用的表示或者特徵。
自動編碼器
自動編碼器基本概念 自動編碼器 autoencoder 是神經網路的一種,一般來講自動編碼器包括兩部分 編碼器和解碼器,編碼器和解碼器相互串聯合作,實現資料的降維或特徵學習,現在也廣泛用於生成模型中.在深度學習中，autoencoder可用於在訓練階段開始前，確定權重矩陣的初始值.左側為encode...
自動編碼器（Autoencoder）
autoencoder是一種無監督的學習演算法，主要用於資料的降維或者特徵的抽取，在深度學習中，autoencoder可用於在訓練階段開始前，確定權重矩陣 w 的初始值。神經網路中的權重矩陣 w可看作是對輸入的資料進行特徵轉換，即先將資料編碼為另一種形式，然後在此基礎上進行一系列學習。然而，在對權重...
自動編碼器（Autoencoder）
autoencoder是一種無監督的學習演算法，主要用於資料的降維或者特徵的抽取，在深度學習中，autoencoder可用於在訓練階段開始前，確定權重矩陣w的初始值。或參考 自動編碼器 autoencoder 對於多層神經網路的引數初始化問題，我們可以依次對每一層進行autoencoder。如下圖所...