書本**
學習的基本是梯度下降演算法，因為之前大概了解這個演算法是怎麼回事，所以看得特別快。這本書講的數學相對而言更加簡單容易理解。
簡單總結今天學習的東西：
w，b的定義跟上一節的定義一樣。參考這個
介紹完公式後，書上撇開了公式開始講梯度下降演算法：
想象 c
是乙個只有兩個變數v1
和v2的簡單函式：
然後假設有乙個球從某個位置開始往下滾，我們假設在v1方向和v2方向上都滾動得很小，根據微積分的定義有：
定義
假設選取
是個很小的正數又叫學習速率，所以有
迭代這個過程：
更新位置，再一次計算下一次移動，不斷迭代直到收斂。
這個就是梯度下降最簡單的描述了，然後之前我們的c是跟w，b有關的，所以更新下降規則，位置的決定有w與b來決定：
做書上的兩個習題作為收尾：
用柯西不等式來證明當
證明如下：
第二題是問對比具有乙個小批量輸入大小為
20的隨機梯度下降，說出遞增學習（就是之前那個文章裡面的隨機梯度下降演算法）的乙個優點和乙個缺點。
優點：計算更快，這個很顯然
缺點：計算可能不準確，得到的平均值跟所有樣本的平均值差距比較大。
讀書筆記《神經網路與深度學習》
機器學習是人工只能的乙個分支，機器學習本身是乙個非常大的概念。輸入資料報括 歷史資料 正確期望值 錯誤期望值 輸入資料後有模型自行進行聚類 規則區分 乙個連續決策的過程，其數學本質是馬爾科夫決策過程。馬爾科夫過程 對於乙個系統，有乙個狀態轉移到另乙個狀態的過程中，存在著轉移概率，且轉移概率可以通過前...
讀書筆記 神經網路與深度學習（五）迴圈神經網路
建立乙個額外的延時單元，儲存歷史資訊。延時神經網路在前饋網路中非輸出層都增加了乙個延時器，記錄最近幾次神經元的輸出。這樣就具有了短期記憶能力。自回歸模型是統計學上常用的一類時間序列模型，用乙個變數的歷史資訊來 自己。有外部輸入的非線性自回歸模型是乙個擴充套件，每個時刻都有乙個外部輸入x，產生乙個輸出...
讀書筆記 神經網路與深度學習（三）前饋神經網路
從機器學習的角度看，神經網路一般可以看做是乙個非線性模型。淨輸入z 在經過乙個非線性函式f 後，得到神經元的活性值 activation a，a f z 其中非線性函式f 稱為啟用函式 activation function 啟用函式 啟用函式在神經元中非常重要的。為了增強網路的表示能力和學習能力，...