線性模型的侷限性：線性模型可以解決線性問題，然而，現實中遇到的問題幾乎都是「複雜問題」，即非線性問題，線性模型不能解決非線性問題，這就是線性模型的侷限。
深層神經網路：深層神經網路是解決「多層非線性變換」最常用的一種方法，其可等同於深度學習。即深度學習和深層神經網路需要解決的問題是非線性問題、複雜問題。
啟用函式：神經網路中，用啟用函式實現「去線性化」，常用的啟用函式有relu函式、sigmoid函式以及tanh函式等。
損失函式：神經網路模型的效果以及優化的目標是通過損失函式（loss function）來定義的。
損失函式-交叉熵（cross entropy）：交叉熵是常用的評判輸出向量和期望向量接近程度的最好方法之一。交叉熵刻畫了兩個概率分布之間的距離，它是分類問題中使用比較廣泛的一類損失函式。
通過q來表示p的交叉熵為：h(p,q)=-(p(x1)*log(q(x1)) + p(x2)*log(q(x2)) + ... + p(xn)*log(q(xn)) )
softmax回歸：由於交叉熵刻畫的是兩個概率分布之間的距離，而神經網路的輸出卻不一定是乙個概率分布，那麼想用交叉熵來作為分類問題神經網路的損失函式，那麼必須將神經網路的輸出概率化，即將神將網路前向傳播的得到的結果變為概率分布，softmax回歸便是常用的方法。
假設原始的神經網路輸出為y(1), y(2), ... , y(n)，那麼經過softmax回歸處理後的輸出變為：y(i)=sofetmax(y(i))=exp(y(i))/(exp(y(1))+exp(y(2))+ ... +exp(y(n)))
損失函式-均方誤差（mse）：雲分類問題不同，回歸問題解決的是對具體熟知的**，如房價走勢、銷量**等，這些問題要**的不是乙個實現定義好的類別，而是乙個實數。解決回歸問題的神經網路一般只有乙個輸出節點，輸出節點的值就是**值。回歸問題最常用的損失函式是均方誤差（mse，mean squared error）。
神經網路和深度學習 深層神經網路
dnn結構示意圖如圖所示 對於第 l 層神經網路，單個樣本其各個引數的矩陣維度為 w l n l n l 1 b l n l 1 在運算過程中，使用python的 廣播 將b 1 複製為 n l m m為訓練集大小dw l n l n l 1 db l n l 1 z l n l 1 a l z l...
神經網路和深度學習（三）深層神經網路
1 深層神經網路中的前向傳播 1 單資料情況 z 1 w 1 x b 1 a 1 g 1 z 1 z 2 w 2 a 1 b 2 a 2 g 2 z 2 z l w l a l 1 b l a l g l z l y 2 向量化情況 z 1 w 1 x b 1 a 1 g 1 z 1 z 2 w 2...
深層神經網路 吳恩達神經網路和深度學習學習筆記
l2正則化又被稱作權重衰減，因為相當於在為正則化的基礎上將之前的 正則化為啥能降低過擬合？正則化會使一部分引數接近於0，相當於降低了一些隱藏層單元的影響，相對是模型變得簡單 因為神經網路使用了非線性啟用函式，但是當w比較小時，z通常也會比較小，對有些啟用函式來說會相對集中在近線性區，例如tanh中紅...