最近學習了andrew ng在網易雲開放的深度學習與神經網路課程，受益匪淺，特來做乙個初學者的總結。
其實在學習神經網路之前，掌握基本的機器學習知識很重要，要不學起來還是比較吃力，從監督學習的梯度下降演算法（對後面的學習應用很廣泛），到極大似然估計，從啟用函式的種類與選擇，到損失函式的確定，以及正則化，dropout等等防止學習過擬合的方法，在神經網路與深度學習的訓練**過程中，都發揮著比較大比較基礎的作用。
基礎神經網路的學習參考**：
以兩層神經網路為例：
兩層神經網路除了包含乙個輸入層，乙個輸出層以外，還增加了乙個中間層。此時，中間層和輸出層都是計算層。我們擴充套件上節的單層神經網路，在右邊新加乙個層次（只含有乙個節點）。
現在，我們的權值矩陣增加到了兩個，我們用上標來區分不同層次之間的變數。
神經網路每一層都包含多個單元。輸入層的每個單元對應於用於訓練的元組的每個特徵，輸入層的單元，經過加權後，提供給隱藏層的單元。而隱藏層的輸出又可以是另乙個隱藏層，層層遞進，構成了深度神經網路。當然也可以之有一層印隱藏層。
之所以稱該網路為前饋的，是因為權重不回送到輸入層或前一層的輸出單元。
之所以說兩層與單層神經網路不同，兩層神經網路可以無限逼近任意連續函式，單層網路只能做線性分類任務，是因為資料發生了空間變換。
!( 公升維/降維
放大/縮小
旋轉平移
「彎曲」
1,2,3的操作由w·x完成，4的操作是由+b完成，5的操作則是由a()來實現。
單層神經網路處理非線性分類任務：
**雙層神經網路處理非線性分類任務： **
兩層神經網路的決策分界是非常平滑的曲線，而且分類的很好。單層網路只能做線性分類任務，為什麼兩個線性分類任務結合就可以做非線性分類任務？把輸出層的決策分界單獨拿出來看一下。
神經網路與深度學習（一）
參考 關於權重和偏置的合理解釋 這周開始考慮在基於mp實現一些特定應用的時候，其實我心中是有幾個雛形的，但是涉及到技術細節的時候，還是有些缺乏，所以就想找本書能提供些參考。巧合的是，發現了這本 神經網路與深度學習 正好也是基於python的，有用武之地。本章通過神經網路來識別手寫數字，在這一章中涉及...
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
神經網路和深度學習（一） 初識神經網路
人類的視覺系統是世界上最棒的系統之一，比如下列一串手寫數字 大多數人都可以一眼看出它是504192。在我們大腦的每乙個半球，都有主要的視覺皮質v1 它包含了1.4億個神經元，在這些神經元之間有數百億的接觸。然而人類的視覺不僅僅包含了v1 而是一系列的視覺皮質v1 v2,v3,v 4,v5 逐步進行更...