理論上我們可以用多項式函式去近似任意函式（泰勒極數(taylor series)），從而可得到任意問題的擬合曲線。
在數學中，泰勒級數（英語：taylor series）用無限項連加式——級數來表示乙個函式，這些相加的項由函式在某一點的導數求得。泰勒級數可以用來近似計算函式的值.在實際處理時，特徵量通常會很多，如果再構造高階多項式等，特徵數量將會急劇增加，這使得回歸模型的複雜度太高，可見並不合適。神經網路無需構造高階多項式，在特徵量很大時也可以處理的很好。
那特徵能有多大呢？下面是乙個計算機視覺中的例子：
灰度指黑白影象中點的顏色深度，範圍一般從0到255（這個設定範圍，已經夠用了）。白色為255，黑色為0.。故黑白也成為了灰度。255是2的8次方（包含0）。所以又叫8點陣圖。（這裡的黑白表示顏色的亮度，而不是原色）。假如我們只選用灰度，每個畫素則只有乙個值（而非 rgb 值）.腦科學家通過對動物實驗，發現大腦中專用於處理聽覺訊號的腦皮層也能處理其他諸如視覺等訊號，即如果切斷其與耳朵的聯絡，將其與眼睛相連，則這塊負責聽覺的腦皮層區域也能接受並處理視覺訊號，從而學會「看」。腦科學家通過這類換源實驗，就推論假設大腦的學習演算法只有一種(「one learning algorithm」 hypothesis)。那麼如果能找出這種學習演算法並應用於計算機中，那夢想中和人一樣的人工智慧就成真了。
神經網路就源於模擬人類大腦，但其需要的計算量很大。隨著計算機硬體效能的提高，神經網路逐漸從衰落變為流行，如今已廣泛地被應用在各行各業中。
每乙個神經元都可以被認為是乙個處理單元/神經核（ processing unit/ nucleus），它含有許多輸入/樹突（input/dendrite），並且有乙個輸出/軸突（output/axon）。神經網路是大量神經元相互鏈結並通過電脈衝來交流的乙個網路。
神經網路模型建立在很多神經元之上，每乙個神經元又是乙個個學習模型。這些神經元
（也叫啟用單元， activation unit）採納一些特徵作為輸入，並且根據本身的模型提供乙個輸出。下圖是乙個以邏輯回歸模型作為自身學習模型的神經元示例，在神經網路中，引數又可被稱為權重（weight）。
人工神經網路中，樹突對應輸入(input)，細胞核對應啟用單元(activation unit)，軸突對應輸出(output)。一般把神經網路劃分為三部分（注意，不是只有三層！），即輸入層(input layer)，隱藏層(hidden layer)和輸出層(output layer)。
>注意這裡的規定用法，u和v標的位置，u表示前面一層的各單元，但是標在下標的後面，而v表示後面一層的單元，卻標在前面。
我們可以知道：每乙個 a 都是由上一層所有的 x 和每乙個 x 所對應的決定的。
（我們把這樣從左到右的演算法稱為前向傳播演算法( forward propagation )）
二元邏輯運算子（binary logical operators）當輸入特徵為布林值（0 或 1）時，我們可以用乙個單一的啟用層可以作為二元邏輯運算子，為了表示不同的運算子，我們之需要選擇不同的權重即可。
下圖的神經元（三個權重分別為-30， 20， 20）可以被視為作用同於邏輯與（and）：
下圖的神經元（三個權重分別為-10， 20， 20）可以被視為作用等同於邏輯或（or）：
下圖的神經元（兩個權重分別為 10， -20）可以被視為作用等同於邏輯非（not）：
我們可以利用神經元來組合成更為複雜的神經網路以實現更複雜的運算。例如我們要實
現 xnor 功能（輸入的兩個值必須一樣，均為 1 或均為 0），即 xnor=（ x1andx2）or((notx1)and(notx2))
首先構造乙個能表達(notx1)and(notx2)部分的神經元：之前討論的都是**結果為單值情況下的神經網路，要實現多類別分類，其實只要修改一下輸出層，讓輸出層包含多個輸出單元即可。然後將表示 and 的神經元和表示(notx1)and(notx2)的神經元以及表示 or 的神經元進行組合：
機器學習 神經網路演算法 一
1.背景 1.1 以人腦中的神經網路為啟發，歷史上出現過很多不同版本 1.2 最著名的演算法是1980年的 backpropagation 2.多層向前神經網路 multilayer feed forward neural network 2.1 backpropagation被使用在多層向前神經網...
吳恩達 機器學習 4 神經網路
當特徵數量大時，在進行邏輯回歸和線性回歸時要包含所有的相關項，二項式的個數以n 2的量級增長，最終的結果可能過擬合，同時計算量也過大。model representation x 0x 0 x0 為偏置單位，總是等於1，x是輸入，h x h theta x h x 是輸出，theta 是權重即函式的...
FPGA機器學習之BP神經網路4
神經網路3，主要是一些用matlab自帶函式來完成神經網路的例子。matlab自帶的函式，都是經過優化，而且函式的實現過程是被封裝好了點。效能也是非常的優良了。可是自己寫出來的bp神經網路可能就不能達到那樣的效果。要想在fpga上實現，或者要知道內部的運 況，還是要自己寫才行。這個是自己寫的bp神經...