因為在最簡單的異或問題上，乙個簡單的線性分類器都搞不定了。而神經網路相當於多個線性分類邊界的整合。具有更優秀的能力。
【異或問題】如果a、b兩個值不相同，則異或結果為1。如果a、b兩個值相同，異或結果為0。
異或也叫半加運算，其運算法則相當於不帶進製的二進位制加法：二進位制下用1表示真，0表示假，則異或的運算法則為：0⊕0=0，1⊕0=1，0⊕1=1，1⊕1=0（同為0，異為1），這些法則與加法是相同的，只是不帶進製。
其中，每個直線代表乙個分類器，給出一次分類結果。然後，在下一層中，根據這些初次分類得到的結果，再進行一次分類【本例中取交即可】
總結一下：單隱層的神經網路可以實現and和or功能，雙【多】隱層的神經網路可以實現任何功能。
試想如果從輸入層到隱層之間沒有乙個「非線性變換」函式，那麼每次從層1到層2經過一層權值，再從層2到層3 經過一層權值，這兩層權值【兩個矩陣】可以乘在一起，相當於沒有這個必要了。
是的，可以看到每個層實際上是畫了一條線，那麼只要「這個隱層的神經元的個數非常多」但是這個訓練不如我們「把層拉伸，」
我的目的就是為了找那個斷點。樹型別的分類器。所以許多並不離散化。
為什麼會用gbdt+lr來組合使用，因為gbdt可以用來構造特徵
類似於人的「潛意識裡」的特徵。輸入到softmax裡的特徵，很難從物理上得到乙個結論。
普通分類器：資料歸一化，訓練集上資料歸一化，拿到係數之後也要用到測試集上。
一般情況下，回歸問題比較難做。但凡有想法的話，一般都希望把回歸問題轉化為分類問題。怎麼轉？
理解神經網路
了解了什麼是神經單元，就很容易理解神經網路，神經網路就是一系列神經單元連線而成構成的網路結構，如下圖 這是乙個5層神經網路，包括輸入層和輸出層，輸入層也叫做資料層，一般接收資料的輸入。這裡每一層的神經單元都與相鄰層的神經單元連線，而與本層的神經單元無連線，因此也叫全連線神經網路。使用神經網路訓練影象...
神經網路 神經網路中的矩陣的理解
在 深度學習入門 基於python的理論與實現 書中，看到講解矩陣的章節，加深了我對矩陣的理解。脫離應用理解數學是很難的。將矩陣放在深度學習的環境裡可以較好的理解矩陣的含義。這裡假設你已經學過矩陣。對於神經網路，我更傾向於理解為 因素 輸入層 影響因子 權重 結果 輸出層 這更貼近實際中的因果關係。...
神經網路概念理解
如果不用非線性激勵函式 其實相當於激勵函式是f x x 每一層輸出都是上層輸入的線性函式，無論該神經網路多少層，輸出都是輸入的線性組合，與沒有隱藏層效果一樣，即為最原始的感知機了。1.對於深層網路，sigmoid函式反向傳播時，很容易出現梯度消失，從而無法完成深層網路的訓練。2.relu會使神經元的...