4 神經網路的結構
5 模型的表示能力和容量
參考資料
例如，可以使用sigmoid啟用函式做乙個二分類問題，這個時候使用數學形式可以得到σ(∑
i=1n
wixi
+b)\sigma(\sum_^nw_ix_i+b)
σ(∑i=1
nwi
xi
+b) 表示 p(y
i=1∣
xi,w
)p(y_i=1|x_i,w)
p(yi=
1∣xi
,w)
,即輸出為1類的概率，那麼輸出為0類的概率為 1−p
(yi=
1∣xi
,w)1-p(y_i=1|x_i,w)
1−p(yi
=1∣
xi,
w),這就是logistic回歸，所以logistic回歸只是乙個使用了sigmoid作為啟用函式的一層神經網路。
（1）相比於sigmoid啟用函式和tanh啟用函式，relu啟用函式能夠極大地加速隨機梯度下降法的收斂速度，這是因為它是線性的，且不存在梯度消失的問題。
（2）相比於sigmoid啟用函式和tanh啟用函式的複雜計算而言，relu的計算方法更簡單，只需要乙個閾值過濾就可以得到結果，不需要進行一大堆複雜的運算。
relu的缺點。
訓練的時候很脆弱。比如乙個很大的梯度經過relu啟用函式，更新引數後，會使這個神經元不會對任何資料有啟用現象。如果發生這種情況之後，經過relu的梯度永遠都會是0，也就意味著引數無法再更新了，因為relu啟用函式本質上是乙個不可逆的過程，它會直接去掉輸入小於0的部分，在實際操作中可以通過設定比較小的學習率來避免這個小問題。
廖星宇《深度學習入門之pytorch》電子工業出版社
svm通俗講解 SVM通俗講解
svm support vector machine 支援向量機相關理論介紹 基於資料的機器學習是現代智慧型技術中的重要方面，研究從觀測資料 樣本 出發尋找規律，利用這些規律對未來資料或無法觀測的資料進行 迄今為止，關於機器學習還沒有一種被共同接受的理論框架，關於其實現方法 大致可以分為 三種 3 ...
epoll通俗講解
首先我們來定義流的概念，乙個流可以是檔案，socket，pipe等等可以進行i o操作的核心物件。不管是檔案，還是套接字，還是管道，我們都可以把他們看作流。之後我們來討論i o的操作，通過read，我們可以從流中讀入資料 通過write，我們可以往流寫入資料。現在假定乙個情形，我們需要從流中讀資料，...
通俗講解python new
目錄 於別人的部落格 曾經我幼稚的以為認識了python的 init 方法就相當於認識了類構造器，結果，new 方法突然出現在我眼前，讓我突然認識到原來 new 才是老大。為什麼這麼說呢？我們首先得從 new cls 的引數說說起，new 方法的第乙個引數是這個類，而其餘的引數會在呼叫成功後全部傳遞...