第一門課會以貓作為物件識別
第二門課中，學習超引數調整、正則化、診斷偏差和方差以及一些高階優化演算法，比如 momentum 和 adam 演算法。
第三門課中，我們將使用兩周時間來學習如何結構化你的機器學習工程。
第四門課程中，我們將會提到卷積神經網路(cnn(s))，它經常被用於影象領域，你將會在第四門課程中學到如何搭建這樣的模型。
在第五門課中，你將會學習到序列模型，以及如何將它們應用於自然語言處理，以
及其它問題
第一周：深度學習引言(introduction to deep learning)
1、relu 啟用函式
2、神經網路的一部分神奇之處在於，當你實現它之後，你要做的只是輸入 x，就能得到輸出 y。
3、影象應用， 我們經常在神經網路上使用卷積（
convolutional neural network
） ， 通常縮寫為
cnn。
放出來， 所以音訊是最自然的表現。
作為一維時間序列（兩種英文說法
one-dimensional time
series / temporal sequence） .
對於序列資料， 經常使用
rnn， 一種遞迴神經網路（
recurrent
neural network
） ， 語言， 英語和漢語字母表或單詞都是逐個出現的， 所以語言也是最自然
的序列資料。
4、卷積神經網路通常用於影象資料
5、將要討論的許多技術都將適用， 不論是對結構化資料還是非結構化資料。 為了解釋演算法， 我們將在使用非結構化資料的示例中多畫一點， 但正如你所想的， 你自己團隊裡通過運用神經網路， 我希望你能發現， 神經網路演算法對於結構化和非結構化資料都有用處。
6、只用了一行**。 所以， 我打算先構建乙個 1*m
的矩陣， 實際上它是乙個行向量， 同時我準備計算z1、z2...
， 所有值都是在同一時間內完成
7、z = np.dot(w.t,x) + b
8、numpy
廣播機制
9、在統計學裡面， 有乙個方法叫做最大似然估計， 即求出一組引數， 使這個式子取最大值，也就是說， 使得這個式子取最大值
第三週： 淺層神經網路
(shallow neural networks)
1、其中， x
表示輸入特徵，
ܽα表示每個神經元的輸出，
ܹw表示特徵的權重， 上標表示神經
網路的層數（隱藏層為
1） ， 下標表示該層的第幾個神經元。 這是神經網路的符號慣例， 下
同。
2、用向量化的方法， 可以不需要顯示迴圈
4、在討論優化演算法時， 有一點要說明： 我基本已經不用
sigmoid
啟用函式了，
tanh
函式在所有場合都優於
sigmoid
函式。
5、sigmoid
啟用函式： 除了輸出層是乙個二分類問題基本不會用它。
tanh
啟用函式：
tanh
是非常優秀的， 幾乎適合所有場合。
relu
啟用函式： 最常用的預設函式， ， 如果不確定用哪個啟用函式， 就使用
relu
或者leaky relu
。6、通常的建議是： 如果不確定哪乙個啟用函式效果更好， 可以把它們都試試， 然後在驗證集或者發展集上進行評價。 然後看哪一種表現的更好， 就去使用它。
7、在選擇自己神經網路的啟用函式時， 有一定的直觀感受， 在深度學習中的經常遇到乙個問題： 在編寫神經網路的時候， 會有很多選擇： 隱藏層單元的個數、 啟用函式的選擇、 初始化權值
……8、事實證明， 如果你使用線性啟用函式或者沒有使用乙個啟用函式，那麼無論你的神經網路有多少層一直在做的只是計算線性函式， 所以不如直接去掉全部隱藏層。 在我們的簡明案例中， 事實證明如果你在隱藏層用線性啟用函式， 在輸出層用
sigmoid
函式， 那麼這個模型的複雜度和沒有任何隱藏層的標準
logistic
回歸是一樣的
9、正向傳播、反向傳播
np.sum
是 python
的 numpy
命令，axis=1
表示水平相加求和
10、直觀理解反向傳播（
backpropagation intuition
）11、把 ܹw[1]設為np.random.randn(2,2)(生成高斯分布),通常再乘上乙個小的數,比如 0.01，這樣把它初始化為很小的隨機數。 然後b沒有這個對稱的問題（叫做 symmetry breaking problem） ，所以可以把b初始化為 0，因為只要隨機初始化w你就有不同的隱含單元計算不同的東西，因此不會有 symmetry breaking 問題了。相似的， 對於 ܹw[2]你可以隨機初化b[2]可以初始化為 0
吳恩達《深度學習》第一門課（3）淺層神經網路
1 神經網路每個單元相當於乙個邏輯回歸，神經網路由邏輯回歸的堆疊起來。下圖是網路結構 針對網路結構進行計算 1.第一層的正向傳播 2.第一層的反向傳播 3.第二層的反向傳播 正向只要把微分符號去掉即可 1 神經網路各層分別較輸入層 掩藏層和輸出層，其中說乙個網路有幾層時一般不包括輸入層，如下圖是乙個...
神經網路和深度學習（一） 初識神經網路
人類的視覺系統是世界上最棒的系統之一，比如下列一串手寫數字 大多數人都可以一眼看出它是504192。在我們大腦的每乙個半球，都有主要的視覺皮質v1 它包含了1.4億個神經元，在這些神經元之間有數百億的接觸。然而人類的視覺不僅僅包含了v1 而是一系列的視覺皮質v1 v2,v3,v 4,v5 逐步進行更...
神經網路和深度學習（一） 初識神經網路
人類的視覺系統是世界上最棒的系統之一，比如下列一串手寫數字 大多數人都可以一眼看出它是504192。在我們大腦的每乙個半球，都有主要的視覺皮質的輸入依賴於其輸出，這很難理解，所以我們不允許這樣的迴圈。然而，有些人造神經網路中存在反饋迴路是可能的。這樣的模型稱為遞迴神經網路。這些模型的思想是讓神經元在...