2 神經網路的組成部分
3 計算乙個神經網路的輸出
神經網路看起來是如下這個樣子。我們可以把許多sigmoid 單元堆疊起來形成乙個神經網路。
在這個神經網路（上圖）對應的 3 個節點，首先計算第一層網路中的各個節點相關的數?[1]，接著計算?[1]，在計算下一層網路同理； 我們會使用符號 [?]表示第?層網路中節點相關的數，這些節點的集合被稱為第?層網路。
整個計算過程，公式如下:
接下來你需要使用另外乙個線性方程對應的引數計算?[2]， 計算?[2]，此時?[2]就是整個神經網路最終的輸出，用 ?^表示網路的輸出。
你應該記得邏輯回歸中，有一些從後向前的計算用來計算導數??、??。同樣，在神經網路中我們也有從後向前的計算，最後會計算??[2] 、??[2]，計算出來之後，然後計算計算??[2]、??[2] 等，進行反向計算。
這是一張神經網路的，讓我們給此圖的不同部分取一些名字。
輸入層：我們有輸入特徵?1、?2、?3，它們被豎直地堆疊起來，這叫做神經網路的輸入層。它包含了神經網路的輸入。
輸出層：最後一層，也就是最後輸出**值的一層，稱為輸出層。在本例中，最後一層只由乙個結點構成，而這個只有乙個結點的層就是輸出層，它負責產生**值。
隱藏層：輸入層和輸出層之間的所有層，稱為隱藏層。在這個例子中，這裡有另外一層是隱藏層（上圖 的四個結點）。
解釋隱藏層的含義
在乙個神經網路中，當你使用監督學習訓練它的時候，訓練集包含了輸入?也包含了目標輸出?，所以術語隱藏層的含義是在訓練集中，這些中間結點的準確值我們是不知道到的，也就是說你看不見它們在訓練集中應具有的值。你能看見輸入的值，你也能看見輸出的值，但是隱藏層中的東西，在訓練集中你是無法看到的。所以這也解釋了詞語隱藏層，只是表示你無法在訓練集中看到他們。現在我們再引入幾個符號，就像我們之前用向量?表示輸入特徵。這裡有個可代替的記號?[0]可以用來表示輸入特徵。?表示啟用的意思，它意味著網路中不同層的值會傳遞到它們後面的層中，輸入層將?傳遞給隱藏層，所以我們將輸入層的啟用值稱為?[0]；下一層即隱藏層也同樣會產生一些啟用值，那麼我將其記作?[1]，所以具體地，這裡的第乙個單元或結點我們將其表示為?1[1]，第二個結點的值我們記為?2[1]以此類推。所以這裡的是乙個四維的向量如果寫成 python **，那麼它是乙個規模為 4x1 的矩陣或乙個大小為 4 的列向量，如下公式，它是四維的，因為在本例中，我們有四個結點或者單元，或者稱為四個隱藏層單元；
最後輸出層將產生某個數值?，它只是乙個單獨的實數，所以的?值將取為?[2]。這與邏輯回歸很相似，在邏輯回歸中，我們有?直接等於?，在邏輯回歸中我們只有乙個輸出層，所以我們沒有用帶方括號的上標。但是在神經網路中，我們將使用這種帶上標的形式來明確地指出這些值來自於哪一層，有趣的是在約定俗成的符號傳統中，在這裡你所看到的這個例子，只能叫做乙個兩層的神經網路（圖 3.2.2）。原因是當我們計算網路的層數時，輸入層是不算入總層數內，所以隱藏層是第一層，輸出層是第二層。第二個慣例是我們將輸入層稱為第零層，所以在技術上，這仍然是乙個三層的神經網路，因為這裡有輸入層、隱藏層，還有輸出層。但是在傳統的符號使用中，如果你閱讀研究**或者在這門課中，你會看到人們將這個神經網路稱為乙個兩層的神經網路，因為我們不將輸入層看作乙個標準的層。
我們要看到的隱藏層以及最後的輸出層是帶有引數的，這裡的隱藏層將擁有兩個引數?和?，我將給它們加上上標 1，表示這些引數是和第一層這個隱藏層有關係的。之後在這個例子中我們會看到?是乙個 4x3 的矩陣，而?是乙個 4x1 的向量，第乙個數字 4 源自於我們有四個結點或隱藏層單元，然後數字 3 源自於這裡有三個輸入特徵，我們之後會更加詳細地討論這些矩陣的維數，到那時你可能就更加清楚了。相似的輸出層也有一些與之關聯的引數?[2]以及?[2]。從維數上來看，它們的規模分別是 1x4 以及 1x1。1x4 是因為隱藏層有四個隱藏層單元而輸出層只有乙個單元，之後我們會對這些矩陣和向量的維度做出更加深入的解釋，所以現在你已經知道乙個兩層的神經網路什麼樣的了，即它是乙個只有乙個隱藏層的神經網路。
神經網路的輸出究竟是如何計算出來的？
首先，回顧下只有乙個隱藏層的簡單兩層神經網路結構：
其中，?表示輸入特徵，?表示每個神經元的輸出，?表示特徵的權重，上標表示神經網路的層數（隱藏層為 1），下標表示該層的第幾個神經元，這是神經網路的符號慣例。
關於神經網路是怎麼計算的，從我們之前提及的邏輯回歸開始，如下圖所示。用圓圈表示神經網路的計算單元，邏輯回歸的計算有兩個步驟，首先計算出?，然後以 sigmoid 函式為啟用函式計算?（得出?），乙個神經網路只是這樣子做了好多次計算。
回到兩層的神經網路，我們從隱藏層的第乙個神經元開始計算，如上圖第乙個最上面的箭頭所指。從上圖可以看出，輸入與邏輯回歸相似，這個神經元的計算與邏輯回歸一樣分為兩步，小圓圈代表了計算的兩個步驟。
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
初次結識海蜘蛛 2
接上篇 初次結識海蜘蛛 1 6.nat策略，由於長期以來ipv4位址的緊張，一般的辦公網路很少能擁有大量的公網ip位址，因此只能採取私有ip位址解決內部眾多終端ip通訊的問題，但私有位址除了內部通訊外，還需要通過nat與公網或網際網路進行通訊，通常是各種對外的服務使用一對一位址或nat策略，因此，需...