這裡我們集中討論具有可調節權值的tlu網路。網路系統通過不斷調節權值，直到其動作計算表現令人滿意來完成學習。tlu網路稱為神經網路是因為它模仿了生物神經元的一些特性。
首先介紹如何訓練單個tlu權值，從而使其對某一些訓練集合產生正確的輸出。
首先簡要介紹下神經網路。神經網路的每個單元如下：
其對應的公式如下：
其中，該單元也可以被稱作是logistic回歸模型。當將多個單元組合起來並具有分層結構時，就形成了神經網路模型。下圖展示了乙個具有乙個隱含層的神經網路。
其對應的公式如下：
神經網路的訓練方法採用反向傳播演算法，為了更好地描述反向傳播演算法，這裡要定義乙個十分簡單的雙層神經網路，它的結構如下圖所示。
如果把神經網路的計算過程拆解成乙個個的部分，那麼它的計算過程就變成了下面這些步驟的組合。
求導的過程需要將上述列出的步驟反向進行。首先是第二層網路計算公式反推：
到這裡我們已經順利的求出了第二層的所有引數的導數了。下面是第一層網路的計算公式反推。
到這裡，基本運算已經準備完成。而且隨著模型從高層網路向低層網路反向計算，那些已經計算好的中間結果也可以用於計算低層引數的梯度。所以經過整理，全部的計算過程可以如下表示：
以上就是計算的全過程了，以上9個步驟可以分成3個部分。
如果從更具體的角度來看每一層神經網路的反向計算內容，就會發現他們都完成了下面的梯度計算：
了解了這個模式，神經網路計算梯度模組化這件事就變得容易許多。在前向計算時，每一層使用同樣的計算流程產生輸出，並傳給後一層作為輸入；同樣在反向傳播時，每一層也使用同樣的流程，計算上面4個值，把梯度反向傳給前一層的輸出。這樣，每乙個全連線層之間的運算變得相對獨立。
人工智慧和神經網路
人工智慧的發展飛快，這也得益於人工智慧的技術成熟。而人工智慧離不開神經網路，神經網路在人工智慧的發展中也是走過了十分崎嶇的道路，那麼究竟是怎麼一回事呢？我們在這篇文章中給大家介紹一下這個問題。每乙個科學的技術發展程序都是十分相似的，如果我們從歷史來看，就能夠發展一件十分有意思的事情，重大科學的研究往...
人工智慧 深層神經網路
對於人臉識別等應用，神經網路的第一層從原始中提取人臉的輪廓和邊緣，每個神經元學習到不同邊緣的資訊 網路的第二層將第一層學得的邊緣資訊組合起來，形 臉的一些區域性的特徵，例如眼睛 嘴巴等 後面的幾層逐步將上一層的特徵組合起來，形 臉的模樣。隨著神經網路層數的增加，特徵也從原來的邊緣逐步擴充套件為人臉的...
神經網路基礎 人工智慧實踐
tensorflow python中和矩陣有關的乙個模組 nn 神經網路，neural network 階段目標 搭建第乙個神經網路，總結搭建八股。一 基於tensorflow的nn 用張量表示資料，用計算圖搭建神經網路，用會話執行計算圖，優化線上的權重 引數 得到模型。二 張量 tensor 多維...