但是，不要被複雜的定義嚇到。神經網路（包括現在的深度神經網路，卷積神經網路等等）的實質其實是一種加權疊加的思想，其通過不斷地訓練反饋更新權值，使得網路的輸出跟目標輸出一致，獲得所謂的「學習能力」。
這是乙個典型的神經網路結構，其分別由數個神經元組成輸入層，隱藏層，輸出層，其中輸入層，輸出層固定，隱藏層層數可自己擬定，當然層數越多計算量也就越大（本文以應用最為廣泛的bp神經網路來介紹-誤差反向傳遞）。
這是系統中單個神經元結構，輸入資料乘權重加上偏置，具體來說就是：
w權重目的在於調整輸入的值，使其朝向期望的輸出逼近。
b偏置目的在於調整函式位置方便區分提取特徵，具體來說：
（此部分摘自此文描述的更加詳盡）
乙個分類問題，如何將三角形跟圓形分開，假若不加偏置，任何過原點的函式都無法將二者分離，偏置的作用就在於此，適當的對函式位置進行調整，如下圖所示。
回到神經元結構中，神經元的輸出表示為
這裡f（）表示為激勵函式，最為常見的如sigmoid函式，其作用在於加入非線性因素。
具體什麼意思呢？回到我們的分類問題（不論回歸問題還是分類問題非線性函式都能更好的解決問題）。
這樣乙個分類問題，線性函式已經無法將二者完全分離，只有非線性函式才能將其分離開，通過激勵函式不斷地增加非線性因素從而形成一條非線性曲線實現二者分離。
輸入資料經過網路的計算得到輸出這就是乙個正向傳遞過程。
定義代價函式：
接下來對w與b進行更新，使用梯度下降法（最優化演算法中經典的演算法，最速下降方向為梯度方向）尋找使得誤差最小的w以及b的值。
α表示學習速率（在梯度下降法稱為步長,使用一維搜尋確定步長）在這裡一般自己取嘗試。對相應的w，b求偏導即是梯度。
通過此方法依次更新每乙個偏置及權值（依次向前更新每一層的權值），所有的權值反向更新完畢後重新進入輸入層進行計算，直到期望輸出與實際輸出之間的誤差小於要求的誤差為止。
RNN 遞迴神經網路（理論篇）
rnn學習筆記，我不是知識的創造者，我只是知識的搬運工。rnn 遞迴神經網路，帶有乙個指向自身的環，用來表示它可以傳遞當前時刻處理的資訊給下一時刻使用，如下圖所示，一條鏈狀神經網路代表了乙個遞迴神經網路，可以認為它是對相同神經網路的多重複製，每一時刻的神經網路會傳遞資訊給下一時刻。其中xt為網路層的...
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
深度學習 深度神經網路
神經網路是由乙個個神經元相互連線並按層次排列構成的，深度神經網路是有任意層的神經網路，這裡的深度是指層次的多，而不是神經元數量的多。有任意層，那麼就要有乙個迴圈來負責遍歷每一層進行計算。所以深度神經網路的計算形式，就必須要適應這個迴圈結構。我們先來說說神經元吧 對於多神經元神經網路，其實也是一樣的。...