神經元與單層感知機
人工神經網路」。它是卷積神經網路的基礎。
人工神經網路是由乙個個神經元組成的，神經元的人工神經網路中最基礎的計算單元。
神經元接受前一層的輸入，經過處理，會有乙個輸出，就像下面這張圖一樣。
z的計算方式如下，
其中，
x1,x2,…,xk是輸入，把前兩個圖結合，就可以得到神經元的具體組成：乙個神經元是由輸入、權重、偏移項、啟用函式、輸出五部分組成。w1,w2,…,wk是權重，
b為偏移項，
δ為啟用函式。
需要注意的是權重的個數與神經元輸入的個數是相同的，偏移項在神經元中可以忽略，啟用函式在神經元中一般都會有，但是在實際問題中也是可以省略的。
w1,w2,…,wk和b是神經網路需要通過訓練得到的引數。
當輸入趨近於無窮大時，輸出就越趨近於1，所以sigmoid函式經常被使用在二分類問題，它是可以將乙個數值轉化為概率，當概率大於0.5或者某個自定的閾值時，就可以判斷該類為正例。當輸入趨近於去無窮小時，輸出就越趨近於0。
利用神經元判讀下面這張是否為手寫數字5
神經元就是最簡單的一種感知機
神經元是模仿單個神經細胞的工作狀態，單個神經細胞只有兩種狀態，啟用狀態為是，未啟用狀態為否。這其實就是乙個二分類問題。
若現在問題變成如何自動識別出每張是哪個數字？
那麼單個神經元就處理不了了，因為神經元只能處理二分類問題。
每個神經元側重於一種數字的識別，將剛才的感知機進行修改，則可解決這種多分類的任務，如下圖，輸入不變，仍然將28*28畫素的轉化為長度為784的向量，將神經元的個數由1變成了10，這10個神經元只判斷輸入的是否為自己對應的數字，每個神經元都會對應乙個輸出，z0,…,z9。每個輸出z都是神經元自己做出的判斷。
神經元最終輸出的z又可以叫作特徵值。
softmax函式可以將一組數值對映到[0,1]區間內並且保證輸出的和是1.輸出的數值可以看做「概率」
整合多個神經元，讓多個神經元共同解決複雜的問題
1.可以進行多類別的分類
2.整合了多個神經元，提公升了模型整體效能。
多層感知機是最基本、最簡單的神經網路結構。
多層感知機的思想仍然是模仿人的神經系統，將獲得的資訊一層層地傳遞下去，每一層做不同的抽象。
多層感知機要求至少有2個隱藏層。
我們經常說的深度就是指隱藏層，就是指deep learning中的deep。
神經元只能學習到線性關係，但是在現實中，絕大多數問題都是複雜的非線性關係。
如果我們無限的堆疊神經網路的層與任意增加神經元的個數，是不是就可以解決所有問題了？
答案是否定的，神經網路的效能會大大下降，當神經網路的隱藏層的層數大於2時，網路的效能會隨著層數的增加而降低。
多層感知機的侷限
參數量膨脹：在多層感知機中，採用的是全連線的形式，每增加一層，將會帶來數量級的引數增加
梯度消失：使用sigmoid函式啟用的時候，會產生梯度消失的問題，使引數無法更新。
使用tensorflow構建自己的感知機。
人工神經元
神經元是構成神經網路的最基本單位，構造乙個人工神經網路系統的首要任務就是構造人工神經網路模型。1 人工神經元的基本構成 我們希望人工神經元可以模擬生物神經元的一階特性 輸入訊號的加權和。對於每乙個人工神經元來說，可以接受一組來自系統中其他神經元的輸入訊號，每個輸入對應乙個權，所有輸入的加權，所有輸入...
神經元細節
單個神經元的模型如下圖所示 在右圖中，神經元的激勵反應可分為兩大部分 1 神經元接受刺激，並對所有的刺激進行加權求和，然後加上偏置，得到激勵值 2 將激勵值作為輸入，輸入到啟用函式，最後通過激勵函式的作用得到最後的響應 注意 這裡總共分為兩個過程，不能忽視最後啟用函式的作用。乙個線性分類器就可以看作...
多組神經元
p 0.1 0.7 0.8 0.8 1.0 0.3 0.0 0.3 0.5 1.5 1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 1.5 1.3 t 1 1 1 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 1 1 r,q size p s,q size t net ...