深度學習的最終目的是獲取乙個多層的複雜函式，這個函式可以對輸入的值做出相對正確的輸出。
比如：
輸入乙個小貓的，函式經過運算輸出「這是乙隻貓」；
輸入乙個小狗的，函式經過運算輸出「這是乙隻狗」；
但是，用單個簡單函式很難得到這樣的效果，那麼聰明的人類就想到了：人的大腦神經網路不是簡單構成複雜的例項嗎？人的大腦神經元對正確的事情做出正向激勵，然後神經元突觸更快地釋放，然後許許多多的神經元鏈結起來，就對這個複雜的世界可以做出相對正確的判斷了。
乙個簡單的函式就是乙個神經元：
然後許許多多的神經元構成乙個網路：
就這樣，so easy。
然後我們在說明其中的一些細節：
1、神經元中有個activation function啟用函式，用來加速訓練等，啟用函式可以出現在任何一層，但不是每一層都必有。
常用啟用函式：sigmoid function （s型函式）
2、神經網路從左到右依次為輸入層、各個層合起來的隱層，輸出層。然後，輸出層之後還可以有個softmax layer，可以對輸出結果進一步的調整。
3、那麼要有多少層呢？每層多少個神經元呢？
作者曰：嘗試+直覺，目前沒有太好的辦法自動調整，這也是乙個科研的前進方向
4、思考：與adaboost區別？
adaboost 弱分類器輔以權重得到乙個強分類器，加權的投票機制。「三個臭皮匠在一起思考問題，然後投票」。
而感覺deeplearning的可以把臭皮匠放入每乙個隱層，然後作為下一層臭皮匠的輸入，最後得到乙個整體最優，某種組合狀態下最優的分類器。
深度學習的最終目的是獲取乙個最優的函式，那麼函式的引數調整也就是重中之重了。
1、梯度下降法gradient descent
特徵：簡單，通常使用，未必全域性最優，可能區域性最優
learning rate 學習率，很重要的乙個引數。我的理解是：調參的時候，引數變化率，調參一般不是按照常量增大減小，而是按照變化率計算下乙個引數，然後測試效果，所以學習率就是引數變化的幅度。幅度太大，容易跨過，幅度太小，容易太慢。
為了能夠使得梯度下降法有較好的效能，我們需要把學習率的值設定在合適的範圍內。學習率決定了引數移動到最優值的速度快慢。如果學習率過大，很可能會越過最優值；反而如果學習率過小，優化的效率可能過低，長時間演算法無法收斂。
2、backpropagatio反向傳播
特徵：bp神經網路，一種有效的計算 dl\dw的方法
建立網路的目的是要擬合乙個非線性函式，最終效果是整個網路就是乙個函式。函式的引數便是裡面的權重，所以主要目的就是如何訓練得到這些引數。一般都是建立乙個目標函式o，然後優化它，因為它和權重w有關，所以利用梯度下降法，來更新權重，所以bp最終的目的就是是在設法求do/dw
英文文件：
這個文件更適合新手
本實驗是乙個識別手寫數字的程式，具體的實驗**及過程請參考本人的git，參考ppt及本人除錯後的**可以很快執行起來。
1、選擇合適的loss失敗率
成功率瞬間由 0.66 上到 0.94
2、mini-batch 即sgd
model.fit(x_train, y_train, batch_size=100, nb_epoch=20)# model.add(activation("sigmoid"))
model.add(activation("relu"))
4、合適的學習率
5、引入動量
optimizer=adam()1、convolutional neural network (cnn) 卷積神經網路
廣泛應用在影象處理方面，阿爾法狗也用
2、recurrent neural network (rnn) 迴圈神經網路
有記憶的神經網路 用於語義分析挺好
reinforcement learning 強化學習
unsupervised learning 無監督學習
機器學習門徑初窺
機器學習概述 1.什麼是機器學習呢？所謂機器學習，從我的理解來看就是指給定一些樣本資料，通過對樣本資料提取特徵 feature 通過對這些特徵進行分析並得到一些規律，然後通過這些規律來 一些未知的事情。2.機器學習的價值是什麼呢？個人認為機器學習的價值就在於通過對一大堆無序的資料抽取規律，並用於解釋...
bat 初窺門徑
下面直接上.bat檔案對其進行分析 echo off call prepare env call build vs goto eof prepare env echo call env.bat if exist if exist env.bat call env.bat goto eof build...
IT行業 初窺門徑 行業揭秘
it，即 information technology，也有人惡搞地稱其為挨踢。這是乙個誕生沒多少年的新興產業，但卻是個英雄和天才輩出的行業，這讓行外人和行內人都十分讚嘆。這個充滿科技天才和財富的世界，究竟是什麼樣子呢？本章就會帶領各位讀者揭開糊在 it 行業上的這層紙。提 示it 含義很廣泛，統指...