1 學習xor
2 基於梯度的學習
3 隱藏單元
4 架構設計
5 反向傳播 和其他微分演算法
6 歷史小計
reference[原文]: joselynzhao.top & 夏木青 | 深度前饋網路資訊流過 x 的函式，流經用於 定義 f 的中間計算過程，最終到達輸出 y。
前饋神經網路被稱作網路 (network) 是因為它們通常用許多不同函式復合 在一起來表示。
訓練資料並沒有給出 這些層中的每一層所需的輸出，所以這些層被稱為隱藏層 (hidden layer)。
這些網路被稱為神經網路是因為它們或多或少地受到神經科學的啟發。
我們最好將前饋神經網路想成是為了實現統計泛化而設計出 的函式近似機器，它偶爾從我們了解的大腦中提取靈感但是並不是大腦功能的模型。
xor 函式(『『異或』』 邏輯)是兩個二進位制值 x1 和 x2 的運算。這些二進位制值 中恰好有乙個為 1 時，xor 函式返回值為 1。其餘情況下返回值為 0。
深度神經網路設計中的乙個重要方面是代價函式的選擇。幸運的是，神經網路的代價函式或多或少是和其他引數模型例如線性模型的代價函式相同的
代價函式的選擇與輸出單元的選擇緊密相關。大多數時候，我們簡單地使用資料分布和模型分布間的交叉熵。選擇怎樣表示輸出決定了交叉熵函式的形式。
bernoulli 分布僅需乙個單獨的數來定義，神經網路只需要** p (y = 1 | x) 即可。為了使這個數是有效的概率，它必須處在區間 [0, 1] 中。 滿足這個限制需要一些細緻的設計工作。假設我們打算使用線性單元，並且通過閾值來限制它成為乙個有效的概率:
整流線性單元易於優化，因為它們和線性單元非常類似。線性單元和整流線性 單元的唯一區別在於整流線性單元在其一半的定義域上輸出為零。
它的梯度不僅大而且一致
整流線性單元通常用於仿射變換之上:
分層次： 更多的更簡單的函式耦合在一起更好。
跳躍連線：
殘差網路：防止梯度消失
用稀疏連線 代替 全連線
ML 深度前饋網路
華為雲學院 單個感知器的表達能力有限，它只能表達線性決策面 超平面 如果把多個感知器連線起來，就可以表達種類繁多的非線性曲面。神經網路基於感知器模型做了三點擴充套件 1 加入隱藏層，隱藏層可以有多層，增強模型的表達能力 2 多個輸出層神經元，靈活應用於分類回歸，分類，語義分割等。3 擴充套件啟用函式...
6 深度學習實踐 深度前饋網路（續）
接上篇 6.深度學習實踐 深度前饋網路 萬能近似定理 乙個fnn如果具有線性輸出層和至少一層具有任何一種擠壓性質的啟用函式的隱藏層，只要給予網路足夠數量的隱藏單元，它能夠以任意精度來近似任何從乙個有限維空間到另乙個有限維空間的borel可測函式。該定理意味著 無論我們試圖學習什麼函式，乙個大的mlp...
深度學習 前饋神經網路
神經元模型，由兩部分組成。一部分將訊號進行累加，得到得分函式，還有偏置項 bias 相當於函式的截距項或者常數項。z bias i 1mxi wi i 0m xiwiz bias i 1mxi wi i 0m xiwi 第二部分是啟用函式，這是神經元的關鍵，通常使用某類啟用函式，就稱為某類神經元。如...