1、每一層的數學表達： y⃗
=f(w
⃗ ⋅x⃗
+b) ，其中x⃗
是輸入向量，y⃗
是輸出向量，b⃗
是偏移向量，w⃗
是權重矩陣，f(
) 是啟用函式。每一層僅僅是把輸入x⃗
經過如此簡單的操作得到y⃗
。2、數學理解一：用線性變換跟隨著非線性變化，將輸入空間投向另乙個空間。與支援向量機的原理相同。理解非線性轉化為線性
3、數學理解二：神經網路通過不斷調整各個引數，最終擬合線性和非線性的函式。
1、神經網路學習如何利用矩陣的線性變換加啟用函式的非線性變換，將原始輸入空間投向線性可分、稀疏的空間去分類、回歸。
注：非線性變換的基本理論：
乙個模式分類問題如果對映到乙個高維空間將會比對映到乙個低維空間更可能實現線性可分；
隱空間的維數越高，逼近就越精確。
2、增加每一層神經元的數量：增加維度，即增加線性轉換能力。
3、增加神經網路層數：增加啟用函式的作用次數，即增加非線性轉換次數。
相關資料：
2014-03-nn-manifolds-topology
tensorflow playground
人工神經網路 理解人工神經元和神經網路
人工神經網路主要根據大腦神經元構建人工神經元，並且按照一定的拓撲結構建立神經元之間的連線，模擬生物神經網路。早期模型強調生物合理性，目前更加強調對認知能力的模擬，完成某種特定任務。人工神經網路系列部落格持續更新。由於本人更喜歡使用word和mathtype，所以較多截屏。如果我的理解有欠缺或者錯誤，...
人工神經網路 多層神經網路
模型原型 sklearn.neural network.mlpclassifier hidden layer sizes 100,activation relu algorithm adam alpha 0.0001,batch size auto learning rate constant le...
人工神經網路
人工神經網路 artificial neural network,ann 通過對大量歷史資料的計算來建立分類和 模型。神經網路的學習就是通過迭代演算法對權值逐步修改優化的過程。學習的目標是通過修改權值是訓練樣本集中所有樣本都能被正確分類。人工神經元用於模擬生物神經元，人工神經元可以看作乙個多輸入 單...