神經網路：$, e\subseteq v\times v,w:v\times v\to r, \sigma:v\times r\to r $，
輸出函式$f(v)$遞迴定義為$$\beginf(v)&=x(v)&,if\,\nexists u,\in e\\ f(v)&=\sigma(v,y(v)), y(v)=\sum_ w(v,u)f(u)&,if\,\exists u,\in e\end$$
主要用途在於擬合給定資料集{}。其擬合能力有理論保障：
montufar etal.(2014)的主要定理指出，具有d個輸入、深度為l、每個隱藏層具有n個單元的深度整流網路可以描述的線性區域的數量是$o(\binomd^n^d)$
通常使用梯度下降（反向傳播演算法）來最小化代價函式$l$，即函式近似誤差。
反向傳播$\delta(v)$遞迴定義為$$\begin\delta(v)&=\frac&,if\,\nexists u,\in e\\ \delta(v)&=\sum_\delta(u)\fracw(u,v)\,&,if\,\exists u,\in e\end$$
引數$w(u,v)$導數為$$\frac=\delta(u)\fracf(v) $$
非線性導致大多數代價函式都變得非凸。用於非凸代價函式的隨機梯度下降沒有收斂性保證，並且對引數的初始值很敏感。
輸出單元
隱藏單元
提前終止
強化資料集：為輸入、輸出注入雜訊；多尺度縮放資料
dropout
批標準化：自適應的重新引數化，降低非相鄰層的高階影響。$given\;y_=xw$
問題：病態、區域性極小點、鞍點、懸崖、長期依賴、區域性與全域性結構的弱對應
選擇一族容易優化的模型
優化演算法：
自適應學習率：
優化策略
盡快建立乙個端到端的的工作流程，包括估計合適的效能度量。
搭建系統，並確定效能瓶頸。
根據具體觀察反覆地進行增量式的改動，如收集新資料、調整超引數或改進演算法。
超引數
提高效能
原因
注意事項
隱藏單元數量
增加增加隱藏單元數量會增加模型的表示能力。
複雜度增加
學習率最優
提高學習速度
卷積核寬度
增加增加模型的引數數量。
隱式零填充
增加保持尺寸
權重衰減係數
降低提高模型引數
dropout 比率
降低提高精度
deep learning, www.deeplearning.net
深度學習知識點
1.epoch設定 epoch太小，可能欠擬合，但可能因為太慢不得不減小epoch epoch太大，會過擬合，導致準確率下降。如下圖，顯然epoch 2時準確率下降，已經過擬合了 2.學習率選擇 fast.ai中有乙個learn.lr find 找學習率 x 和loss y 的曲線中斜率最大的即可。...
深度學習知識點2
1.為什麼引入非線性啟用函式？引入非線性啟用函式，可以使深層的神經網路不再是線性的輸入組合，而是可以逼近任意函式，如果不使用啟用函式，在這種情況下每一層的輸出都是上一層輸入的線性函式，無論神經網路的有多少層，輸出的最終結果都是乙個線性組合，與沒有隱藏層的效果相差不多，也就成了最原始的感知機了。2.為...
深度學習知識點總結（二）
原 for dog,cat in zip dp.dogs,dp.cats 1000 報錯 typeerror zip object is not subscriptable 解決方法 使用list包裝zip物件，如下，for dog,cat in list zip dp.dogs,dp.cats 1...