全連線前饋網路 fully connect feedforward network 是最常見的神經網路連線方式，也可以叫做多層感知機模型 multi-layer perceptron
define a set of functions
當乙個神經網路的結構確定了的時候，這個模型所對應的函式集合也就確定了。不同的引數對應著集合裡不同的函式
goodness of function
即我們需要根據具體的問題去定義乙個損失函式 loss function，不同的函式對應著不同的損失值
pick the best function
通過優化演算法，找出函式集合中使損失函式最小的一組引數
設計乙個好的神經網路結構對模型最終的效果至關重要。如果函式集合中不存在使損失函式較小的函式，則再怎麼訓練模型也沒有用。
神經網路層數以及某一層中的神經元的數量的選擇，沒有乙個標準的答案，只能根據直覺和不斷地實驗和試錯，來尋找乙個較好的結構。
在傳統的神經網路結構中，我們假設所有的輸入（和輸出）都是相互獨立的。
當神經網路的層數不斷增加後，sigmoid函式作為啟用函式會產生梯度瀰散（vanishing gradient problem）的問題，表現為距離輸出層較近的隱藏層的引數已經收斂了，而距離輸入層較近的隱藏層的引數還是初始值。最終模型的效果不如層數較少的神經網路。rectified linear unit（relu）函式解決了梯度瀰散的問題。啟用函式還有：tanh、leaky relu、maxout等
【雖然不用擔心區域性極小值問題，但仍要擔心鞍點問題】
深度學習 前饋神經網路
神經元模型，由兩部分組成。一部分將訊號進行累加，得到得分函式，還有偏置項 bias 相當於函式的截距項或者常數項。z bias i 1mxi wi i 0m xiwiz bias i 1mxi wi i 0m xiwi 第二部分是啟用函式，這是神經元的關鍵，通常使用某類啟用函式，就稱為某類神經元。如...
前饋神經網路
前饋神經網路 ffnn 由乙個輸入層，一到多個隱藏層，有乙個輸出層組成。資料通過網路一層層向後傳遞，直到輸出層，之間沒有反饋迴路。前饋神經網路可得到的函式 1 有乙個隱藏層的網路，可形成任意乙個連續函式 2 有倆個及以上的隱藏層，可形成任意函式，包括連續函式和離散函式 說明 設計乙個計算函式的網路，...
前饋神經網路 神經元
引言 人工神經網路 artificial neutral network 是受生物神經網路啟發而開發，由神經元連線組成的網路狀機器學習模型。其中，前饋神經網路 feedforward neural network 多層感知機 multilayer perceptron，mlp 是最具代表的神經網路，...