目錄導數的細節
向量化python中的廣播
第二部分深度學習內容
吳恩達講深度學習
1.資料量更大
2.演算法越來越優
3.業務場景越來越多樣化
4.學術界or工業界越來越卷(私以為!)
邏輯回歸是最簡單的二分類模型,也可以說是後續深度神經網路的基礎框架.達叔的演算法知識第一課.
邏輯回歸的引數是w和b,也是主要學習的引數矩陣
\(\hat=\sigma\left(w^ x+b\right),\) where \(\sigma(z)=\frac}\)
損失函式/誤差函式主要是衡量單一樣例的模型訓練效果的,希望模型得到的\(\hat^\)是無限趨近於實際的值 \(y^\),二成本函式是 用來衡量引數w和引數b的效果的.
\[\begin
\text \hat=\sigma\left(w^ x+b\right), \sigma(z)=\frac}< \\
j(w, b)=\frac \sum_^ \mathcal\left(\hat^, y^\right)=-\frac \sum_^ y^ \log \hat^+\left(1-y^\right) \log \left(1-\hat^\right)
\end
\]\(z=w^ x+b\)
\(\hat=a=\sigma(z)\)
\(\mathcal(a, y)=-(y \log (a)+(1-y) \log (1-a))\)
為什麼要向量化實現，因為對比for迴圈來說，向量化的方式可以大大減小執行時間。下面給出達叔給出的例子
上面是向量化的實現方式，而下面是for迴圈的實現方式，可以提公升300倍,所以寫**的時候盡量避免for迴圈，numpy和pandas是兩個不錯的選擇.
因此在實現乙個演算法時候考慮到了矩陣的向量化的形式。
感覺達叔講的這個廣播機制更像是numpy中的矩陣方法教學，能夠使**寫起來方便簡潔
從神經網路講起
為什麼要進入非線性的啟用層
andrew的解釋是：為了使計算更加有趣，因為使用線性的幾乎使沒有用的，，使用線性啟用方式的只有乙個場景：回歸問題
啟用函式的作用：是在人工神經網路的神經元上執行的函式，負責將神經元的輸入對映到輸出端。簡單來說起到乙個對映的作用，不同層的啟用函式有可能不一樣。
sigmoid 對映到（0，1），只能用到二分類上面，或者一般不用
tanh 對映到（-1，1）
relu 也就是修正函式，對映到[0,+無窮],在0處的導數是0
leaky relu，在0處的導數緩慢的接近於0
反向傳播就是不斷地反向求偏導數，因為前向傳播也是用到了微積分的鏈式乘法法則，因此反向求導時候需要用到鏈式求導法則，不斷的求偏導
主要是對每個神經元上面的權重進行隨機初始化
吳恩達深度學習筆記
2.02 紅色為小標題，藍色比較重要 第四講第二週 4.2.1 為什麼要進行例項 4.2.2 經典網路 lenet 5網路當時還沒有padding,所以在卷積過程當中越來越小 也沒有relu函式，當時這個例子用的是sigmoid函式。超級引數不是很多。這個典型的網路有padding，使用的是relu...
吳恩達 深度學習 學習筆記
第一周 卷積神經網路 第二週 深度卷積網路 例項 第三週 目標檢測 首先我們來看一下普通的滑動視窗，首先給一張14 14 3的影象用16個5 5 3過濾器處理之後變成10 10 16的特徵圖，經過2 2的池化操作後變成 5 5 16 的特徵圖，然後新增乙個連線400個單元的全連線層，再新增乙個全連線...
深度學習 吳恩達
第三週神經網路 啟用函式 第一門課 感謝黃博的參考筆記 一次梯度下降 正向傳播與反向傳播 一次反向傳播梯度下降 注意與機器學習課程不同的一點是，第一層不算樣本輸入 a t an z a tan z a tan z 的值域是位於 1和 1之間。a t anh z e z e zez e za tanh...