目錄
什麼是神經網路
神經網路的監督學習
為什麼深度學習會興起
【此為本人學習吳恩達的深度學習課程的筆記記錄，有錯誤請指出！】
讓我們從乙個房價**的例子開始講起，如根據房子面積來**房屋**。
如果你對線性回歸很熟悉， 可以用一條直線來擬合這些資料。但是房屋的**永遠不會是負數的，因此，可以把**為負數的部分變成零，讓它最終在零結束。這條粗的藍線最終的**函式，用於根據房屋面積****。
在有關神經網路的文獻中，你經常看得到這個函式。從趨近於零開始，然後變成一條直線。這個函式被稱作 relu 啟用函式，它的全稱是 rectified linear unit。 rectify（修正）可以理解成 ???(0, ?)，這也成為藍線的函式的原因。
如果這是乙個單神經元網路，不管規模大小，它正是通過把這些單個神經元疊加在一起來形成。如果把這些神經元想象成單獨的樂高積木，就可以通過搭積木來完成乙個更大的神經網路。
神經網路是一種監督學習演算法。
我們舉一些其它的例子，來說明神經網路已經被高效應用到其它地方。
在不同的應用領域，神經網路的結構各不相同，左圖是標準的神經網路，右圖是卷積神經網路：
遞迴神經網路(rnn)非常適合一維序列，資料可能是乙個時間組成部分，一般為非結構化資料（如：音訊、影象、文字等）。
神經網路對結構化資料和非結構化資料都適用。
深度學習和神經網路之前的基礎技術理念已經存在大概幾十年了，為什麼它們現在才突然流行起來呢？
如下圖，橫軸是資料量，縱軸是傳統機器學習演算法效能（準確率等）：
隨著資料量規模的增大，演算法效能先是上公升，之後就趨向平緩。傳統機器學習演算法無法適應大規模資料，最終導致演算法效能無法上公升到更高的階段。
不同規模的神經網路對於不同規模的資料，對應的演算法效能如下：
小型神經網路-小規模資料（黃線）
中型神經網路-中規模資料（藍線）
大型神經網路-大規模資料（綠線）
可以看出，想要神經網路獲得更好的效能，要麼訓練乙個更大的神經網路，要麼投入更多的資料。
在較小的訓練集中，各種演算法的效能差別不是很明顯，所以，如果沒有大量的訓練集，那麼效能效果取決於你的特徵工程能力。
因此，近年來神經網路的興起原因如下：
1、資料量的爆發式增長，如：網際網路、物聯網等應用的出現
2、硬體的效能大大提高，如：cpu、gpu、儲存等
3、演算法的極大創新，如： 神經網路方面的乙個巨大突破是從 sigmoid 函式轉換到乙個 relu函式：
sigmoid 函式的梯度會接近零， 引數會更新的很慢，所以學習的速度會變得非常緩慢。
relu（修正線性單元）函式的梯度對於所有輸入的負值都是零， 也就是這條線的斜率在左邊是零。
僅僅通過將 sigmod 函式轉換成 relu 函式，便能夠使得做梯度下降演算法執行的更快，這就是乙個或許相對比較簡單的演算法創新的例子。
這些原因使得神經網路的實驗人員和有關專案的研究人員在深度學習的工作中迭代的更快，以便快速驗證自己的想法和得到實驗結果：
吳恩達深度學習筆記
2.02 紅色為小標題，藍色比較重要 第四講第二週 4.2.1 為什麼要進行例項 4.2.2 經典網路 lenet 5網路當時還沒有padding,所以在卷積過程當中越來越小 也沒有relu函式，當時這個例子用的是sigmoid函式。超級引數不是很多。這個典型的網路有padding，使用的是relu...
吳恩達深度學習筆記
目錄導數的細節 向量化python中的廣播 第二部分深度學習內容 吳恩達講深度學習 1.資料量更大 2.演算法越來越優 3.業務場景越來越多樣化 4.學術界or工業界越來越卷 私以為 邏輯回歸是最簡單的二分類模型,也可以說是後續深度神經網路的基礎框架.達叔的演算法知識第一課.邏輯回歸的引數是w和b,...
吳恩達 深度學習 學習筆記
第一周 卷積神經網路 第二週 深度卷積網路 例項 第三週 目標檢測 首先我們來看一下普通的滑動視窗，首先給一張14 14 3的影象用16個5 5 3過濾器處理之後變成10 10 16的特徵圖，經過2 2的池化操作後變成 5 5 16 的特徵圖，然後新增乙個連線400個單元的全連線層，再新增乙個全連線...