一般可以理解深度學習是機器學習的一種，得益於硬體的效能上的發展：包括分布式伺服器、gpu等等，使得構建大規模的神經網路成為可能，於是出現了像alphago這種在圍棋領域超越了人類ai。一方面，dl造就了最頂級的ai物種；另一方面，也擔憂dl也並非是ai的終極解決方案，而只是在極窄的特定領域獨領**而已，難以推廣。
學習各種機器學習的演算法，迭代出更高階的新物種，似乎是搞科研的路子。我只希望弄清楚，混口飯吃。
最簡單的神經網路：xor
1. 為什麼選擇的是xor， 而不是or？
2. 訓練乙個神經網路的一般步驟
深度學習筆記
在深度神經網路中，通常使用一種叫修正線性單元 rectified linear unit，relu 作為神經元的啟用函式。relu函式其實是分段線性函式，把所有的負值都變為0，而正值不變，這種操作被成為單側抑制。可別小看這個簡單的操作，正因為有了這單側抑制，才使得神經網路中的神經元也具有了稀疏啟用性...
深度學習筆記
如果沒有啟用函式，或則是線性啟用函式，g z z,那麼在深度神經網路中，相當於都做的是線性變換，多個線性變換的組合還是線性變換。這樣的結果和邏輯回歸沒什麼區別，也就是說，這種情況下，無論神經網路的深度有多深，也就等價於乙個一層的網路，隱藏層沒什麼作用。因此需要非線性啟用函式。1.什麼時候插入，ski...
深度學習筆記
tensorflow 不僅是乙個實現機器學習演算法的介面，也是一種框架，也可用於線性回歸 邏輯回歸 隨機森林等演算法 tensorflow 使用資料流圖來規劃計算流程，每個運算操作作為乙個節點 node，節點之間的連線稱為邊，邊中流動的資料稱為張量，故而得名 tensorflow，預算操作可以有自己...