幾個重要的概念
1.啟用函式：
非線性一般用relu，不用sigmoid，因為sigmoid求導可能導致梯度為0.
2.softmax 函式
我們知道max，假如有兩個數，a和b，並且a>b，如果取max，那麼就直接取a，沒有第二種可能。
但這樣會造成分值小的那個飢餓。所以我希望分值大的那一項經常取到，分值小的那一項偶爾也可以取到，那麼我用softmax
就可以了。現在還是a和b，a>b,如果我們按照softmax來計算取a和b的概率，那a的softmax值大於b的，所以a會經常取到，而b也會偶爾取到，概率跟他們本來的大小有關。所以說不是max，而是softmax。
定義：假設我們有乙個陣列，v，vi表示v中的第i個元素，那麼這個元素的softmax值就是
也就是說，是該元素的指數，與所有元素指數和的比值。
在神經網路的計算當中，我們經常需要計算按照神經網路的正想傳播計算的分數s1，和按照正確標註計算的分數s2，之間的差距，計算loss，才能應用反向傳播。loss定義為交叉熵：
假如有乙個三分類問題，某個樣例的正確答案是（1,0,0）。某模型經過softmax回歸之後的**答案是（0.5,0.4,0.1），那麼這個**和正確答案之間的交叉熵為：-(1*log0.5+0*log0.4+0*log0.1)≈0.3。如果另乙個模型的**是（0.8,0.1,0.1），那麼這個**值和真實值之間的交叉熵是：-（1*log0.8）≈0.1。從直觀上就可以容易地知道第二個**答案是要優於第乙個的。通過交叉熵計算得到的結果也是一致的。
3.正則化懲罰項
防止過擬合。
(1）過擬合問題：
我們看**房價這個例子，我們先對資料做線性回歸，也就是左邊第一張圖。
如果這麼做，我們可以獲得擬合資料的這樣一條直線，但是，實際上這並不是乙個很好的模型。我們看看這些資料，很明顯，隨著房子面積增大，住房**的變化趨於穩定或者說越往右越平緩。因此線性回歸並沒有很好擬合訓練資料。
我們把此類情況稱為欠擬合，或者叫做高偏差。
第二幅圖，我們在中間加入乙個二次項，也就是說對於這副資料我們用二次函式去擬合。自然，可以擬合出一條曲線，事實也證明這個擬合效果很好。
另乙個極端是，如果在第三幅圖中，叫做過擬合。
如果我們沒有足夠的資料集去約束這個變數過多的模型，那麼就會發生過擬合。
解決方法：儘量減少選取變數的數量
正則化。減少特徵變數的數量級
可以看出，如果用乙個二次函式來擬合這些資料，那麼它給了我們乙個對資料很好的擬合。然而，如果我們用乙個更高次的多項式去擬合，最終我們可能會得到乙個過擬合曲線。
我們我們假設要加上懲罰項，從而使引數
（2）正則化
對於房屋****我們可能有上白種特徵，與剛剛所講的多項式例子不同，我們並不知道
因此在正則化裡，我們要做的事情，就是把減小我們的代價函式所有的引數值，因為我們並不知道是哪乙個或哪幾個要去縮小。
l1正則化
l2正則化：
卷積神經網路（1）
卷積神經網路作為一種置換了傳統網路中隱藏層的可自動提取樣本特徵的技術，具有較高的識別率。本文利用dlib與tensorflow平台實現了卷積神經網路人臉識別。結果準確率達到了0.984，取的了較為理想的結果。人臉識別是通過提取人的臉部特徵資訊進行身份識別的一種技術。目前，卷積神經網路在人臉識別上具有...
1 神經網路的分類？
依次是，標準神經網路snn,卷積神經網路 cnn，遞迴神經網路 rnn例如，在之前看到的房價 應用中，我們使用的是標準的神經網路結構，廣告 也是乙個相對標準的神經網路 standard neural networks,以下簡稱 snn 對於影象應用程式，我們經常使用卷積神經網路cnn convolu...
卷積神經網路 學習筆記（1）
卷積神經網路是一種以影象識別為中心的多個領域都得到廣泛應用的深度學習方法。本章將介紹卷積神經網路的結構，以及每層的訓練方法。此外，還會介紹訓練時需要設定的引數種類，以及不同引數設定方法所引起的效能差異。卷積神經網路基於人類視皮層中感受野的結構得到的模型，由輸入層 卷積層 池化層 全連線層和輸出層組成...