根據前向的矩陣，可以計算出右上的規律，對於第l層的w來說，其維數為（n[l],n[l-1]），n[l]表示第l層的單元數。
如果要做乙個人臉識別的系統：那麼淺層的神經網路，進行特徵識別或邊緣探測，第一張圖中的乙個小方塊就是乙個神經單元？無法理解。比如說有個神經單元去找眼睛的部分，這樣每個神經元就可以找臉部不同的部位，最後將這些部分放在一起。
邊緣探測中針對的都是比較小的，而到面部識別會針對較大的區域。金字塔形狀的nn。
ng講到了在語音識別上的乙個應用：
輸入是一段音訊，第一層神經網路可以探測比較低層次的音訊波形特徵，比如音調制高還是變低，然後可以去探測聲音的基本單元（音位），cat中的「殼」就是乙個音位，然後就可以識別單詞，單詞組合起來就是片語。
到網路深層時就可以做更複雜的事情，比如檢測臉部或者片語。
對於電路和深度學習的結合的例子說明為什麼深度網路效果好。
假設要對輸入特徵計算異或，從x1 xor....xn，如果畫乙個異或的樹圖，可建乙個較深的異或樹圖，隱層數為log(n)，就是乙個二叉樹的高度；
如果不允許使用多層神經網路的話，只能使用乙個隱層，那就需要考慮所有可能的組合，需要隱層單元數程指數式增長；（需要考慮所有的可能的結合情況？）
引數：就是比如nn模型中的權重和偏執單元值。
超引數：就是能控制引數的引數。比如學習率α，迭代次數，隱含層層數、隱含層中的單元數、啟用函式的選擇
還有一些其他的超引數：momentum,minibatch size,正則化規則等。
//頭一次知道超引數的定義，原來是這樣，不過另外的超引數還不太明白。
這種公式表述的我還看不太懂，保留一下：
卷積神經網路 第四周
1 人臉驗證，判斷是否與模板一直，是一對一的問題 2 人臉識別，一對多的問題 所以人臉識別對於正確率的要求更高。在人臉識別系統中，一般資料庫中我們都只有一張某個人的 如果用一張 來訓練模型，效果很差，所以要解決這個問題需要引入相似函式 一張經過cnn處理之後會輸出全連線層fc，把兩張的的結果計算範數...
第四周 深度神經網路的核心概念筆記
在我們的前向傳播和後向傳播實現中使用的 快取 是什麼？b.我們用它將在正向傳播過程中計算的變數傳遞到相應的反向傳播步驟。它包含了反向傳播計算導數的有用值。如圖 以下哪些是 超引數 選出所有正確項 a.隱藏層規模n l n l b.神經網路的層數l l c.啟用向量a l a l d.權重矩陣w l ...
機器學習公開課筆記第四周，神經網路
當我們用非線性假設函式n元k次方程表達邏輯回歸特徵值，我們的演算法的效率將是 o left n right 當特徵數n和k過大時，邏輯回歸的演算法效率將會非常低，神經網路演算法就是為了解決非線性邏輯回歸演算法而誕生的 神經網路演算法 於模擬人類大腦神經，同一種神經放在不同的大腦區域可以學習各種能力，...