1.感知機中 w1 w2 控制輸入訊號的重要性引數，偏置b是調整神經元被啟用的容易程度的引數。
2.單層感知機的侷限性在於只能表示由一條直線分開的區間（線性空間），而無法處理如異或這種（非線性空間）
3.通過疊加層（加深層）感知機能更加靈活的表示。
4.神經網路的啟用函式必須使用非線性函式，因為使用線性函式的話，那麼加深神經網路的層數就沒有意義了。
5.輸出層的啟用函式用σ（）表示（sigma），隱藏層的啟用函式用h()表示。
6.輸出層所用的啟用函式要根據實際問題的性質決定，一般而言，回歸問題可以使用恒等函式，二元分類問題可以使用sigmoid函式，多元分類問題可以使用softmax函式。
6.機器學習使用訓練資料進行學習，嚴格來說就是針對訓練資料計算損失函式的值，找出使該值盡可能小的引數。
7.如果以全部資料物件求損失函式的和，則計算過程需要花費較長的時間。神經網路的學習是從訓練資料中選出一批資料（稱為mini-batch,小批量）然後對每個mini-batch進行學習，這種學習方式稱為mini-batch學習。
8.在進行神經網路學習時，不能將識別精度作為指標，因為如果以精度為指標，則引數的導數在絕大多數地方會變成0.
9.識別精度對微小的引數變化基本上沒有什麼反應，即便有反應，它的值也是不連續的、突變的。
10.由全部變數的偏導數彙總而成的向量稱為梯度（gradient）
11.梯度指示的方向是各點處的函式值減小最多的方向。
12.sgd (stochastic gradient descent) 隨機梯度下降法：對隨機選擇的資料進行梯度下降法。
13.
深度學習筆記
在深度神經網路中，通常使用一種叫修正線性單元 rectified linear unit，relu 作為神經元的啟用函式。relu函式其實是分段線性函式，把所有的負值都變為0，而正值不變，這種操作被成為單側抑制。可別小看這個簡單的操作，正因為有了這單側抑制，才使得神經網路中的神經元也具有了稀疏啟用性...
深度學習筆記
如果沒有啟用函式，或則是線性啟用函式，g z z,那麼在深度神經網路中，相當於都做的是線性變換，多個線性變換的組合還是線性變換。這樣的結果和邏輯回歸沒什麼區別，也就是說，這種情況下，無論神經網路的深度有多深，也就等價於乙個一層的網路，隱藏層沒什麼作用。因此需要非線性啟用函式。1.什麼時候插入，ski...
深度學習筆記
tensorflow 不僅是乙個實現機器學習演算法的介面，也是一種框架，也可用於線性回歸 邏輯回歸 隨機森林等演算法 tensorflow 使用資料流圖來規劃計算流程，每個運算操作作為乙個節點 node，節點之間的連線稱為邊，邊中流動的資料稱為張量，故而得名 tensorflow，預算操作可以有自己...