神經元模型是乙個包含輸入，輸出和計算功能的模型。輸入可以模擬為神經元的樹突，而輸出可以模擬為神經元的軸突，計算可以模擬為細胞核。
感知器有兩個層次：輸入層和輸出層。
輸入層裡的「輸入單元」只負責傳輸資料，不進行計算。輸出層裡的「輸出單元」則需要對前面一層的輸入進行計算。
把需要計算的層次稱之為「計算層」，並把擁有乙個計算層的網路稱之為「單層神經網路」。
**值可以為單個值z，擴充套件為向量[z1，z2]，當然也可以擴充套件為任意長度向量。
圖中兩個公式就是線性代數方程組。因此可以用矩陣乘法來表這兩個公式。
例如，輸入的變數是[a1,a2,a3]t（代表由a1,a2,a3組成的列向量），用向量a 來表示。方程的左邊是[z1，z2] t，用向量z來表示。係數則是矩陣，w（2行3列的矩陣，排列形式與公式中的一樣）。
於是這個輸出公式可以改寫成：g(w*a)=z；
這個公式就是神經網路從前一層計算後一層的矩陣運算。
兩層神經網路除了包含乙個輸入層呢，乙個輸出層之外，還增加了乙個中間層。
權值矩陣增加了兩個，用上標來區分不同層次之間的變數。ax(y)代表第y層的第x個節點。
在神經網路的每個層次中，除了輸出層以外，都會含有乙個偏置單元。正如線性回歸模型與邏輯回歸模型中的一樣。
偏置單元與後一層的所有節點都有連線，設這些個引數值為向量b，稱之為偏置。
最終矩陣運算如下 ：
在神經網路中，把函式g稱作啟用函式，對線性加權結果進行乙個非線性的變換，常見的啟用函式包括：sigmod函式，tanh函式，relu函式melu函式，prelu函式。
神經網路的擴充套件：
λ 訓練：
機器學習模型訓練的目的，就是使得引數盡可能的與真實的模型逼近。
λ 具體做法：
首先給所有的函式附上隨機值
使用這些隨機生成的引數值，來**訓練資料中的樣本。樣本的**目標為z，真實目標為y。那麼，定義乙個值loss：
loss = (z - y)2
目標就是使對所有訓練資料的損失和盡可能的小。
可以看出損失loss就是權重w的函式。
在梯度方向上更新權重w，使得loss函式達到的最小值
梯度方向的值通過求導或偏導進行求取
在神經網路中通過反向傳播來快速的計算梯度
演示：●數學式子: y= a(w*x+b) ,其中x是輸入向量，y是輸出向量，b是偏移向量，w
是權重矩陣，a()是啟用函式。每層僅僅是把輸入x經過如此簡單的操作得到y。
●數學理解:通過如下5種對輸入空間(輸入向量的集合)的操作,完成輸入空間一》輸出空間
的變換(矩陣的行空間到列空間)。注:用「空間」二字的原因是被分類的並不是單個事物,而是
-類事物。空間是指這類事物所有個體的集合。
●1.公升維/降維
●2.放大/縮小
●3.旋轉
●4.平移
●5.「彎曲」這5種操作中, 1,2,3的操作由w .正完成, 4的操作是由+b完成, 5的操作則是
由a()來實現。
每層神經網路的數學理解:用線性變換跟隨著非線性變化,將輸入空間投向另-個空間。
1.了解神經網路的基本概念和當前發展
2.掌握神經網路的數學模型和構建
3.感知器到多層神經網路的擴充套件
4.全連線神經網路向cnn、dbn和rnn的發 展
5. tensorfow playground展 示和體驗神經網路的強大功能。
6.通過空間變換和物理組合對神經網路的解釋
神經網路概念理解
如果不用非線性激勵函式 其實相當於激勵函式是f x x 每一層輸出都是上層輸入的線性函式，無論該神經網路多少層，輸出都是輸入的線性組合，與沒有隱藏層效果一樣，即為最原始的感知機了。1.對於深層網路，sigmoid函式反向傳播時，很容易出現梯度消失，從而無法完成深層網路的訓練。2.relu會使神經元的...
ART神經網路與SOM神經網路
今天學習了兩個神經網路，分別是自適應諧振 art 神經網路與自組織對映 som 神經網路。整體感覺不是很難，只不過一些最基礎的概念容易理解不清。首先art神經網路是競爭學習的乙個代表，競爭型學習是一種常用的無監督學習策略，在使用改策略時，網路的輸出神經元相互競爭，每一時刻只有乙個競爭獲勝的神經元啟用...
神經網路基本概念
mcculloch 精神病學家和解剖學家 和pitts 數學家 在1943年，發表第乙個系統的ann研究 閾值加權和 m p 數學模型。bp back propagation 神經網路，是指誤差的後向傳播，修正權值矩陣，達到訓練模型。1 弱點 訓練速度非常慢 區域性極小點的逃離問題 演算法不一定收斂...