深度學習知識點2

1.為什麼引入非線性啟用函式？

引入非線性啟用函式，可以使深層的神經網路不再是線性的輸入組合，而是可以逼近任意函式，如果不使用啟用函式，在這種情況下每一層的輸出都是上一層輸入的線性函式，無論神經網路的有多少層，輸出的最終結果都是乙個線性組合，與沒有隱藏層的效果相差不多，也就成了最原始的感知機了。

2.為什麼使用relu啟用函式？

1.由sigmoid和relu啟用函式可得，採用sigmoid、tanh等函式的話，運算結果均為指數運算，計算量較大，反向傳播求誤差梯度時，求導涉及除法，計算量相對較大，而採用relu啟用函式的情況，由於其導數為固定值α，整個過程的無論是計算還是求導，都節省了一定的運算開支。

2.對於深層神經網路，sigmoid函式進行反向傳播的時候，由於當其輸入很大或很小的時候（接近飽和區的時候），導函式接近於0，很容易出現梯度消失的情況，從而無法完成深層神經網路的訓練。

3.當輸入小於0的時候，relu函式會使神經元的輸出為0，這樣一定程度上降低了神經網路的複雜度，減少了引數的相互依存關係，緩解了網路過擬合的問題。

3.解釋邏輯回歸

邏輯回歸可以看成一種概率估計，為實現logistic分類器，在每個特徵上面都乘以乙個回歸係數，然後所有相乘的結果進行累加，並將這個總體作為輸入，送入到乙個sigmoid函式中去，從而得到乙個大小為0~1之間的值，當該值大於0.5的時候將其歸類為1，否則歸類為0，這樣則完成了而分類的任務。

通過極大似然發來估計回歸係數w和b，給定資料集，logistic回歸模型使其最終結果接近於真是的標記，並且使其概率越大越好。然後採用梯度下降的方法求得最優解。