softmax回歸與多層神經網路都可以實現多分類器，兩種分類器的模型如下圖所示：
softmax回歸多層神經網路根據圖示我們可以看到，多層神經網路模型與回歸模型，在原理上是相似的，都是構造線性模型，多層神經網路只是在輸入層與輸出層之間新增了n個隱含層(n>=1)，新增隱含層的物理意義是什麼呢？
無論是softmax模型，還是多層神經網路模型，都是構造線性模型，但是當輸入資料不是線性可分的，模型該怎麼**結果呢？
線性可分資料，構造乙個線性二分器即可把資料分開線性不可分資料，需要構造多個二分類器對資料進行分類多層神經網路，可以認為將原始輸入資料，在每一層隱含層上做了多個二分類，二分類的個數即為該隱含層的神經元個數。如上圖所示，輸入資料的維度是2，即：x1和x2，對於此線性不可分的資料，可以做3個二分類器，即：y1、y2和y3，所以隱含層中有3個神經元。因此對於線性不可分的資料來說，多層神經網路比softmax回歸效果理論上要好。
對於高維的資料，我們很難進行視覺化，所以隱含層的層數以及每層中神經元的個數，只能通過多次訓練調整。
這就是為什麼多層神經網路有多個隱含層。
另外，可以參考mit deep learning的書籍，中間有一部分解釋的也很清楚，就是為了讓線性不可分的資料變得線性可分：
神經網路隱含層節點數
kolmogorov定理 如果乙個隨機變數序列 1,2.滿足不等式 1 n d n n 為求和範圍 則事件 lim n 1 n 1 k n k 1 n 1 k n m k 0 的概率為1.bp神經網路構建中中間隱含層數目n2,輸入層數目n1,輸出層數目m n2 sqrt n1 m 1 a a 1 1...
bp神經網路推導以及物理意義
bp神經網路的背景我們不在做過多的介紹，就是模擬神經元，進行分類訓練。他的物理意義是什麼呢，就是每個神經元對應我們計算中的濾波器，當他 看到 某個或者某組資料，反應就特別強烈，相乘所得的值就特別大，這大概就是所說的啟用吧。首先，我們來看看bp神經的數學樣例圖 大家肯定有疑問了，為什麼是三層，為什麼不...
使用帶隱含層的神經網路擬合異或操作
例項描述 通過構建符合異或規律的資料集作為模擬樣本，構建乙個簡單的多層神經網路來擬合其樣本特徵完成分類任務。1.資料集介紹 所謂的 異或資料 是 於異或操作。2.網路模型介紹 3.完整 import tensorflow as tf import numpy as np 網路結構 2維輸入 2維隱藏...