當我們有乙個包含許多特徵的複雜假設時，神經網路則是一種解決複雜假設問題的模型。
神經元是神經網路中最基本的單位。神經元是乙個計算單元，神經元接收到來自其他神經元傳遞過來的輸入訊號，這些輸入訊號通過帶權重的連線進行傳遞，然後通過啟用函式的計算以產生神經元的輸出。
神經元
其中
神經網路其實就是這些不同的神經元組合在一起的集合一種常見的多層結構的神經網路由三部分組成：輸入層、隱藏層以及輸出層。
神經網路基本結構
下圖描述了輸入資料如何通過神經網路一層一層計算，最後得到輸出結果。
通過神經網路得到輸出
其中向量化：
向量化過程
解釋一下，當計算完
向量化過程
向量化推導
當神經網路只有輸入層和輸出層時，它跟邏輯函式一樣。但是當神經網路增加了隱藏層時，兩者就有所不同了。邏輯函式的輸入是特徵向量（如
神經網路最後兩層的計算
當層數很多的時候，你有乙個相對簡單的輸入量的函式作為第二層並計算出一些特徵；第三層可以建立在此基礎上來計算更加複雜一些的函式得到更複雜的特徵；然後再下一層又可以計算再複雜一些的函式又得到更複雜的特徵；最終傳遞給最後一層得到輸出結果。
用乙個例子直觀解釋神經網路解決複雜問題。我們使用帶有一層隱藏層的神經網路來計算 xnor 邏輯運算子（相同取 1 ，不同取 0）。
xnor 邏輯運算可能由只有輸入輸出層的神經網路實現的（即不可能由邏輯回歸模型解決），此時就需要運用到多層神經網路。
多層神經網路解決 xnor 運算
如下圖所示，我們得到乙個有 4 個輸出單元的神經網路，能夠為分為 4 個類別：行人路(
神經網路多輸出單元：多分類
當我們將行人路的輸入到神經網路中，會得到
同理神經網路多輸出單元的輸出
而運用邏輯回顧模型中多分類時，輸出如下：
邏輯回顧模型中多分類輸出
可見，與邏輯回歸模型中多分類對比，邏輯回顧模型多分類輸出結果是乙個實數，而神經網路多分類的輸出是乙個向量。故此，神經網路有多個輸出單元時，乙個訓練樣本
神經網路多分類的訓練樣本的標記
這章主要是講解一下神經網路的概念，也講到神經網路從輸入到輸出的過程與計算。從輸入層到輸出層這個過程又稱為「向前傳播」。用一張圖來總結向前傳播。
向前傳播
coursera 機器學習week4 吳恩達z
周志華西瓜書筆記 1 3 假設空間
歸納 induction 是從特殊到一般的 泛化 generalization 過程,即從具體的事實歸結出一般性規律 演繹 deduction 是從一般到特殊的 特化 specialization 過程,即從基礎原理推演出具體狀況.e.g.在數學公理系統中,基於一組公理和推理規則推導出與之相洽的定理...
西瓜書讀書筆記（五） 神經網路
全部筆記的彙總貼 機器學習 西瓜書 讀書筆記彙總貼 神經網路是由具有適應性的 簡單單元組成的廣泛並行互連的網路，它的組織能夠模擬生物神經系統對真實世界物體所作出的互動反應。神經網路中最基本的成分是神經元 neuron 模型，許多的神經元按一定的層次結構連線起來，就得到了神經網路。感知機 percep...
周志華西瓜書筆記 第二章
2.1 經驗誤差與過擬合 錯誤率 分類錯誤的樣本佔樣本總數的比例 精度 1 錯誤率 誤差 學習器的實際 輸出與樣本的真實輸出之間的差異 訓練誤差 學習器在訓練集上的誤差 泛化誤差 在新樣本上的誤差 過擬合 過度學習樣本非主要特徵導致學習器泛化能力下降 欠擬合 未完全學習樣本的特徵 過擬合難以避免，欠...