受生物學的啟發，人工神經網路是有一系列簡單的單元互相緊密聯絡構成的，每個單元有一定數量的實數輸入和唯一的實數輸出。神經網路的乙個重要的用途就是接受和處理感測器產生的複雜輸入並行進行自適應的學習。人工神經網路演算法模擬生物神經網路，是一種模式匹配演算法，通常用於解決分類和回歸問題。
人工神經網路是機器學習的乙個龐大的分支，有幾百種不同的演算法。常見的人工神經網路演算法包括：感知機神經網路，反向傳播，hopfiled網路，自組織對映網路，學習向量化網路等。
神經網路中最基本的成分是神經元模型，及上述定義中的最簡單的單元。在生物神經玩過中，每個神經元和其他神經元項鍊，當它興奮時，就向相連的神經元傳送化學物質，從而改變這些神經元內的電位；如果某神經元的電位超過乙個閾值，那麼它就會被啟用，即興奮起來，向其他神元傳送化學物質。
如果以神經網路的觀點，那麼感知機就是乙個二層的神經網路。感知機實際是一種線性分類器，它用於二分類問題。它將每乙個實力分類為正類（+1）和負類（-1）.感知機的物理意義是：它2將輸入空間（特徵空間）劃分為正負兩類的分離超平面。
感知機的定義
設特定的特徵空間為rn,輸出空間為y=。輸入x為特徵空間的點，輸出y為例項的類別。t是資料集。
感知機的損失函式
對於感知機，損失函式該怎麼定義呢？我們注意到其取值就只有正負兩個值。假如現在乙個訓練樣本（xi,yi）進來了，代入感知機的模型y=wx+b算出了乙個y，然後如果這個y和yi一樣，那麼就都是正的，否則全是負的。因此，讓其相乘，如果是**正確，那麼永遠是正，**錯誤就是負的。
訓練模型，得到w,b：
我們有了資料集後，就要求出這個損失函式的最小值，我們用梯度下降法。這個東西的梯度是：
然後我們用負梯度進行更新w，並且有乙個叫學習率的東西。當我們乙個個從資料集t，取出（x,y）進行對w,b更正時，就成了於是w,的更新就是這樣：
逐個更新即可。
模型應用
上面訓練出了w,b之後，來了乙個資料(x,y)就代入wx+b得到大於0就是預設為+1類，小於0就是預設為-1類。
周志華書表述有些小區別
在上面的更新中，我們是對樣本，如果**不對的話，就如是更新，如果樣本**正確，那麼是不是也需要更新呢？？顯然是不需要的。
周志華的書上（5.1），（5.2）是對每個樣本都進行更新操作，當**正確時，就不需要更新，這時，就讓其更新值為0，也就是（y-yi）那項出現的原因。
神經網路 一） 感知機
計算智慧型 是北航開的一門研究生課程，主要內容為神經網路的原理和應用。該課程從聖經網路的原理開始，以感知機 簡單神經網路為過渡，最後以深度學習結束。此博文為在學習該門課程的過程中，自己在完成課程作業的過程中的一些 和心得。作業一 感知機的基本原理與應用題目 設有兩個模式樣本集合 d1 d2 用感知機...
感知機與神經網路
其中，x1和x2稱為輸入，w1和w2為權重，表示運算的規則，為閾值，y為輸出 運算規則只有w1x1 w2x2，若結果小於等於 得到輸出為0，大於 則輸出1。自定義感知機 實現邏輯和 def and x1,x2 w1,w2 0.5,0.5 兩個權重 theta 0.7 閾值 tmp x1 w1 x2 ...
從感知機到神經網路
在我的之前的部落格中已經講解了感知機，接下來談到的神經網路與感知機有許多共同之處，下面主要是講講神經網路與感知機的不同之處。首先來看看乙個神經網路的示例 上圖示，最左側是輸入層，中間的一列被稱為中間層，也被稱之為隱藏層，最右一列被稱為輸出層。則，神經網路在訊號傳遞的過程中與感知機有什麼聯絡呢？在之前...