自編碼器主要分為兩步：編碼（encoder）和解碼（decoder），編碼階段主要是將輸入資訊對映到低維度的空間（提取有用的特徵），解碼階段主要是為了還原輸入的結果。
其中損失函式l用於度量輸出資訊與輸入資訊偏離的程度
正則自編碼器是在損失函式中加入對模型複雜度的懲罰項
根據損失函式的不同，自編碼器可以分為以下幾類：
模型的訓練過程就需要在如下兩種衝突中尋找平衡：1. 學習輸入資料x的有效表示h(x)，使得decoder可以有效的通過[公式]重構[公式]。2.滿足懲罰項帶來的限制條件，這可以通過限制模型的容量大小，也可以通過改變模型的重構損失，通常會使模型對於輸入的擾動更不敏感。
自編碼器（AutoEncoder
本文講述自編碼器 auto encoder，下文簡稱ae 將按照以下的思路展開講解，力圖使得初學者能看懂其中要義。目錄如下 1.ae的基本原理 2.ae的用途 3.基於mnist資料集的ae的簡單python實現 ae，是神經網路模型的一種，是一種全連線網路模型，而且進行無監督學習，下圖是簡單的ae...
DL入門 2 自編碼器 AutoEncoder
寫在前面 看 綜述時，面臨這樣乙個問題 很多dl的方法只是會簡單運用，卻不是特別了解其詳細原理，故針對cnn rnn lstm autoencoder rbm dbn以及dbm分別做一些簡單總結，以達到了解的目的，此篇為autoencoder。2.自編碼器分類 3 損失函式的設計 自動編碼器是一種無...
AutoEncoder（自編碼器）之風雨調參路
早在一年多前就接觸到了自編碼器這個簡單巧妙的深度學習模型，還曾編寫過簡單的基於mnist的自編碼器。但是因為覺得其思想簡單，就扔入 庫中任其生鏽。一年後的今天，居然因為當初的不求甚解賠付了鉅額罰單。組會偶然收到來自老師的煉丹秘籍，是stanford視覺組的大佬總結的各種奇技淫巧。我看了不免熱血沸騰，...