前饋神經網路也叫作深度前饋網路或者多層感知機，是典型的深度學習模型。前饋神經網路的目標是近似某個函式f*。例如，對於分類器，y=f*(x)對映到乙個類別標籤y。通過定義乙個x到y的對映y=f(x;θ),並學習引數θ的值，使對映能夠得到最佳的函式近似。
之所以被稱為前饋網路，是因為資訊流過x的函式，流經用於定義f的中間計算過程，最終到達輸出y。在模型的輸出和模型本身之間沒有反饋連線。當前饋神經網路被擴充套件成包含反饋連線時，我們稱之為迴圈神經網路(rnn)。
前饋神經網路被稱作網路是因為通常使用許多不同函式復合在一起來表示。該模型類似於乙個有向無環圖，而圖描述了函式是如何復合在一起的。例如，我們有三個函式f(1),f(2),f(3)連線在乙個鏈上形成:f(x)=f(3)(f(2)(f(1)(x)))。這種鏈式結構是神經網路中最常用的結構。在這裡，我們通常將f(1)稱為網路的第一層，f(2)為網路的第二層，以此類推。鏈的長度則為模型的深度。正是因為可以堆疊很多層，才有了深度學習這個名字。前饋神經網路的最後一層稱為輸出層。
在訓練神經網路的時候，讓f(x)去進行f*(x)的值，訓練資料提供了含有雜訊的f*(x)的近似例項。每個樣本對應乙個標籤y≈f*(x)。訓練樣本直接指明了輸出層在每個x上必須產生乙個接近y的值。但是訓練樣本沒有直接指明其他網路層應該做什麼、怎麼做。學習演算法必須決定如何使用這些層來產生想要的輸出，但是訓練資料並沒有說每個單獨的層應該做什麼。相反，學習演算法必須決定如何使用這些層來最好地實現f*的近似。因為訓練資料並沒有給出這些層中每一層所需的輸出，所以這些層被稱為隱藏層。
網路中的每個隱藏層都是向量形式的，這些隱藏層的維數決定了模型的寬度。向量的每個元素都可以被視為乙個神經單元。除了將層比作向量到向量的單個函式，我們也可以把層想象成由許多並行操作的單元組成，每個單元表示乙個向量到標量的函式。每個單元接受前面單元的輸出作為輸入，然後使用啟用函式進行計算。
為了擴充套件線性模型來表示x的非線性函式，可以不把線性模型用於x本身，而是用在乙個變換後的輸入φ(x)上，這裡φ是乙個非線性變換。同樣，我們可以使用類似於svm中的核技巧，來得到乙個基於隱含地使用φ對映地非線性學習演算法。我們可以認為φ提供了一組描述x地特徵，或者認為它提供了x地乙個新的表示。
那麼我們該如何選擇對映φ呢？
1)一種選擇是使用乙個通用地φ，例如具有無限維的φ，它隱含地用在基於rbf核的核機器上。如果φ(x)具有足夠高的維數，我們通常總是有足夠的能力來擬合訓練資料，但是對於測試資料的泛化往往效果不佳。非常通用的特徵對映通常只基於區域性光滑的原則，並且沒有將足夠的先驗資訊進行編碼來解決高階問題。
2)另一種選擇是手動設計φ。在深度學習出現之前，這一直是主流的方法。這種方法對於每個單獨的任務都需要人們數十年的努力從業者各自擅長特定的領域，並且不同領域之間很難遷移。
3)深度學習的策略是去學習φ。在這種方法中，我們有乙個模型y=f(x;θ,w)=φ(x;θ)tw。現在有兩種引數：用於從一大類函式中學習φ的引數θ，以及用於將φ(x)對映到所需的輸出的引數w。其中φ定義了乙個隱藏層。這是三種方法中唯一一種放棄訓練問題的凸性的方法。在這種方法中，我們將表示引數化為φ(x;θ),並且使用優化演算法來尋找θ，使它能得到乙個好的表示。
人工神經網路之前饋神經網路
1.基本概念 深度前饋神經網路也叫作多層感知機，是深度學習中最常用的模型。它包含輸入層，隱含層和輸出層三個部分。它的目的是為了實現輸入到輸出的對映。它定義了乙個函式 y f x,theta 並且通過學習theta，得到了對映函式f。深度前饋神經網路之所以稱之為深度是因為它包含了很多層 隱含層可能會有...
人工神經網路之前饋神經網路
源鏈結 1.基本概念 深度前饋神經網路也叫作多層感知機，是深度學習中最常用的模型。它包含輸入層，隱含層和輸出層三個部分。它的目的是為了實現輸入到輸出的對映。它定義了乙個函式 y f x,theta 並且通過學習theta，得到了對映函式f。深度前饋神經網路之所以稱之為深度是因為它包含了很多層 隱含層...
深度學習 前饋神經網路
神經元模型，由兩部分組成。一部分將訊號進行累加，得到得分函式，還有偏置項 bias 相當於函式的截距項或者常數項。z bias i 1mxi wi i 0m xiwiz bias i 1mxi wi i 0m xiwi 第二部分是啟用函式，這是神經元的關鍵，通常使用某類啟用函式，就稱為某類神經元。如...