由於新的神經網路架構無時無刻不在湧現，想要記錄所有的神經網路是很困難的事情。要把所有這些縮略語指代的網路(dcign，iilstm，dcgan等)都弄清，一開始估計還無從下手。
下表包含了大部分常用的模型(大部分是神經網路還有一些其他的模型)。雖然這些架構都是新奇獨特的，但當我開始把它們的結果畫下來的時候，每種架構的底層關係就會清晰。
顯然這些節點圖並不能顯示各個模型的內部工作過程。例如變分自動編碼器(vae)和自動編碼器(ae)節點圖看起來一樣，但是二者的訓練過程實際上是完全不同的，訓練後模型的使用場景更加不同。vae是生成器，用於在樣本中插入雜訊。而 ae 則僅僅是將它們得到的輸入對映到它們「記憶」中最近的訓練樣本!本文不詳細介紹每個不同構架內部如何工作。
雖然大多數縮寫已經被普遍接受，但也會出現一些衝突。例如rnn通常指**神經網路，有時也指遞迴神經網路，甚至在許多地方只是泛指各種**架構(包括lstm，gru甚至雙向變體)。ae也一樣，vae和dae等都被簡單的稱為ae。此外，同乙個模型的縮寫也會出現字尾n的個數不同的問題。同乙個模型可以將其稱為卷積神經網路也可稱作卷積網路，對應的縮寫就成了cnn或cn
將本文作為完整的神經網路列表幾乎是不可能的，因為新的架構一直被發明，即使新架構發布了，想要找到他們也是困難的。因此本文可能會為您提供一些對ai世界的見解，但絕對不是所有; 特別是您在這篇文章發表很久之後才看到。
對於上圖中描繪的每個架構，本文做了非常簡短的描述。如果您對某些架構非常熟悉，您可能會發現其中一些有用。
感知器(p左圖)和前饋神經網路(ff或ffnn右圖)非常直觀，它們將資訊從前端輸入，再從後端輸出。神經網路通常被描述為具有層(輸入，隱藏或輸出層)，其中每層由並行的單元組成。通常同一層不具有連線、兩個相鄰層完全連線(每一層的每乙個神經元到另一層的每個神經元)。最簡單的實用網路有兩個輸入單元和乙個輸出單元，可用於建立邏輯模型( 用做判斷是否)。通常通過反向傳播方法來訓練ffnn，資料集由配對的輸入和輸出結果組成(這被稱為監督學習)。我們只給它輸入，讓網路填充輸出。反向傳播的誤差通常是填充輸出和實際輸出之間差異的一些變化(如mse或僅僅線性差異)。鑑於網路具有足夠的隱藏神經元，理論上可以總是對輸入和輸出之間的關係建模。實際上它們的應用是很有限的，通常將它們與其他網路結合形成新的網路。
徑向基函式(rbf)網路就是以徑向基函式作為啟用函式的ffnn網路。但是rbfnn有其區別於ffnn的使用場景(由於發明時間問題大多數具有其他啟用功能的ffnn都沒有自己的名字)。
hopfield網路(hn)的每個神經元被連線到其他神經元; 它的結構像一盤完全糾纏的義大利面板。每個節點在訓練前輸入，然後在訓練期間隱藏並輸出。通過將神經元的值設定為期望的模式來訓練網路，此後權重不變。一旦訓練了乙個或多個模式，網路將總是會收斂到其中乙個學習模式，因為網路在這個狀態中是穩定的。需要注意的是，hn 不會總是與理想的狀態保持一致。網路穩定的部分原因在於總的「能量」或「溫度」在訓練過程中逐漸縮小。每個神經元都有乙個被啟用的閾值，隨溫度發生變化，一旦超過輸入的總合，就會導致神經元變成兩個狀態中的乙個(通常是 -1 或 1，有時候是 0 或 1)。更新網路可以同步進行，也可以依次輪流進行，後者更為常見。當輪流更新網路時，乙個公平的隨機序列會被生成，每個單元會按照規定的次序進行更新。因此，當每個單元都經過更新而且不再發生變化時，你就能判斷出網路是穩定的(不再收斂)。這些網路也被稱為聯儲存器，因為它們會收斂到與輸入最相似的狀態;當人類看到半張桌子的時候，我們會想象出桌子的另一半，如果輸入一半噪音、一半桌子，hn 將收斂成一張桌子。
神經網路常見問題
tf.truncated normal中方差stddev 1.0 math.sqrt output size 防止引數過大。如果學習不同特徵的關係，因為要拉大差距，不需要考慮這一點。對於單層神經網路 引數不能過大 對於深層神經網路 正則化防止過擬合 lstm網路基本為2層左右 通常自己可以調節的一些...
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...