自聯想神經網路(auto-associative neural network , 縮寫為aann)是2023年ballard提出的，其網路原型是一種具有對稱拓撲結構的五層前饋傳遞網路，aann 應用到資料檢驗問題時具有比較明顯的物理意義。是bp神經網路的一種特殊情形。其特點是有對稱拓撲結構，即輸出量等於輸入量。
深度信念網路 (deep belief network, dbn) 由 geoffrey hinton 在 2006 年提出。它是一種生成模型，通過訓練其神經元間的權重，我們可以讓整個神經網路按照最大概率來生成訓練資料。我們不僅可以使用 dbn 識別特徵、分類資料，還可以用它來生成資料。
dbn 在訓練模型的過程中主要分為兩步:
第 1 步：分別單獨無監督地訓練每一層 rbm 網路,確保特徵向量對映到不同特徵空間時,都盡可能多地保留特徵資訊;
第 2 步：在 dbn 的最後一層設定 bp 網路,接收 rbm 的輸出特徵向量作為它的輸入特徵向量,有監督地訓練實體關係分類器.而且每一層 rbm 網路只能確保自身層內的 權值對該層特徵向量對映達到最優,並不是對整個 dbn 的特徵向量對映達到最優,所以反向傳播網路還將錯誤資訊自頂向下傳播至每一層 rbm,微調整個 dbn 網路.rbm 網路訓練模型的過程可以看作對乙個深層 bp 網路權值引數的初始化,使dbn 克服了 bp 網路因隨機初始化權值引數而容易陷入區域性最優和訓練時間長的缺點.
上述訓練模型中第一步在深度學習的術語叫做預訓練，第二步叫做微調。最上面有監督學習的那一層，根據具體的應用領域可以換成任何分類器模型，而不必是bp網路。
幾篇比較好的參考文獻
從自聯想神經網路到深度神經網路
第六篇，簡要描述深度神經網路模型。自聯想神經網路是很古老的神經網路模型，簡單的說，它就是三層bp網路，只不過它的輸出等於輸入。很多時候我們並不要求輸出精確的等於輸入，而是允許一定的誤差存在。所以，我們說，輸出是對輸入的一種重構。其網路結構可以很簡單的表示如下 如果我們在上述網路中不使用sigmoid...
從自聯想神經網路到深度神經網路
第六篇，簡要描述深度神經網路模型。自聯想神經網路是很古老的神經網路模型，簡單的說，它就是三層bp網路，只不過它的輸出等於輸入。很多時候我們並不要求輸出精確的等於輸入，而是允許一定的誤差存在。所以，我們說，輸出是對輸入的一種重構。其網路結構可以很簡單的表示如下 如果我們在上述網路中不使用sigmoid...
深度神經網路
關於卷積神經網路cnn，網路和文獻中有非常多的資料，我在工作 研究中也用了好一段時間各種常見的model了，就想著簡單整理一下，以備查閱之需。如果讀者是初接觸cnn，建議可以先看一看 deep learning 深度學習 學習筆記整理系列 中關於cnn的介紹 1 是介紹我們常說的lenet為例，相信...