以下為對神經網路與深度學習這本書的學習筆記
對於人工智慧：
john mccarthy提出了人工智慧的定義：「人工智慧就是要讓機器的行為看起來就像是人所表現出的智慧型行為一樣。」人工智慧是電腦科學的乙個分支，主要研究、開發用於模擬、延伸和擴充套件人類智慧型的理論、方法、技術及應用系統等。
關於「智慧型」的定義，阿蘭·圖靈（alan turing）提出了著名的圖靈測試：「乙個人在不接觸對方的情況下，通過一種特殊的方式，和對方進行一系列的問答。如果在相當長時間內，他無法根據這些問題判斷對方是人還是計算機，那麼就可以認為這個計算機是智慧型的」。要使得計算機能通過圖靈測試，計算機必須具備理解語言、學習、記憶、推理、決策等能力。
目前，人工智慧的主要領域大體上可以分***感知、學習、認知***。
對於人類來說，感知和認知網往往是瞬間發生的，但是對於人工智慧來說，從感知到認知是乙個重要的研究方向，計算機不如人類，或許就是因為機器的認知能力差，比如，對於人類來說，在開車時看見前面車子的速度變化，人類就可以意識到前面的車要變道，於是可以提前應對，而機器從感知到認知則需要乙個過程，簡單的說，感知是指我們感受到的某種資訊，而認知就是從這種資訊中提取或者發現更加深層次的知識，以便於更好地決策，在從感知到認知的過程中就需要進行學習。認知是與需求和條件相關聯的，而不是漫無目的的胡亂聯想。
對於神經網路：
人類的一起智慧型活動都和大腦有關，受到人腦神經系統的啟發，早期的神經科學家構造了一種模仿人腦神經系統的數學模型，稱為人工神經網路（artificial neural network，即ann ），簡稱神經網路。
對於人類來說，乙個人的智力不僅僅來自遺傳，其中大部分是在成長過程中自己學習得到的，也就是說人腦神經網路是乙個具有學習能力的系統。在人腦的神經網路，神經元是攜帶和傳輸資訊的細胞，每個神經元有上千個突觸和其它神經元相連線，其中最重要的就是神經元如何組成聯接，不同的連線形成了不同的記憶印痕。
對於人工神經網路，它從結構、實現機理和功能上模擬人腦神經網路。是一種運算模型，由大量的節點（即神經元）之間相互聯接構成。每個節點代表一種特定的輸出函式，稱為激勵函式（activation function）。每兩個節點間的連線都代表乙個對於通過該連線訊號的加權值，稱之為權重，這相當於人工神經網路的記憶。
對於機器學習：
機器學習（machine learning，ml）是指從有限的觀測資料中學習（或「猜測」）出具有一般性的規律，並將這些規律應用到未觀測樣本上的方法。
在實際任務中使用機器學習模型一般會包含以下幾個步驟：
資料預處理是指去除資料中的雜訊，比如在文字分類中去除停用詞等；特徵提取是指從原始資料中提取一些有效的特徵；特徵轉換是指對特徵進行一定的加工和處理，比如降維（其中包括特徵抽取和特徵選擇）。**是機器學習的核心部分，學習乙個函式進行**。
對於表示學習：
為了提高機器學習系統的準確率，我們就需要將輸入資訊轉換為有效的特徵，或者更一般性稱為表示（representation）。如果有一種演算法可以自動地學習出有效的特徵，並提高最終機器學習模型的效能，那麼這種學習就是可以叫做表示學習（representation learning）。表示學習的關鍵是解決語義鴻溝（semantic gap）問題，語義鴻溝問題是指輸入資料的底層特徵和高層語義資訊之間的不一致性和差異性。
對於深度學習：
深度學習是機器學習的乙個分支，是指一類問題以及解決這類問題的方法。***深度學習的問題具體是指從有限樣例中，通過演算法總結出一般性的規律，並可以應用到新的未知資料上，***比如在醫療方面，我們可以通過已有的病例，在此基礎上總結出病狀和疾病之間的規律，這樣在之後出現了這種病狀，我們便可以根據這個規律來判斷是什麼疾病。深度學習的模型：深度學習採用的模型一般比較複雜，指樣本的原始輸入到輸出目標之間的資料流經過多個線性或非線性的元件（components）。因為每個元件都會對資訊進行加工，並進而影響後續的元件。
深度學習使機器學習的乙個分支，下表簡要介紹了兩者之間的不同之處：
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
深度學習 深度神經網路
神經網路是由乙個個神經元相互連線並按層次排列構成的，深度神經網路是有任意層的神經網路，這裡的深度是指層次的多，而不是神經元數量的多。有任意層，那麼就要有乙個迴圈來負責遍歷每一層進行計算。所以深度神經網路的計算形式，就必須要適應這個迴圈結構。我們先來說說神經元吧 對於多神經元神經網路，其實也是一樣的。...
神經網路與深度學習（一）
參考 關於權重和偏置的合理解釋 這周開始考慮在基於mp實現一些特定應用的時候，其實我心中是有幾個雛形的，但是涉及到技術細節的時候，還是有些缺乏，所以就想找本書能提供些參考。巧合的是，發現了這本 神經網路與深度學習 正好也是基於python的，有用武之地。本章通過神經網路來識別手寫數字，在這一章中涉及...