一 從感知機到深度學習
第乙個正式的神經元模型是由沃倫·麥卡洛克（warren maculloach）和沃爾特·皮茨（walter pitts）於1943.年提出的。這個模型看起來很像組成計算機的邏輯門。麥克洛克-皮茨神經元做不了的事情就是學習。為此我們需要對神經元之間的連線給予不同的權重，這就是所謂的「感知機」。感知機於20世紀50年代由康奈爾大學的心理學家弗蘭克·羅森布拉特（frank rosenblatt）發明。
在感知機中，乙個正權值代表乙個興奮性連線，乙個負權值代表乙個抑制性連線。如果其輸入量的加權和高於界限值，那麼會輸出1；如果加權和小於界限值，那麼輸入0。通過改變權值和界限值，我們可以改變感知器計算的函式。當然，這種做法忽略了神經元發揮作用的很多細節，但我們想讓這個過程盡可能簡單點。單個感知機的侷限是無法解決xor這類非線性不可分問題。
二 多層感知機的原理
單個感知器雖然無法解決異或問題，但卻可以通過將多個感知器組合，實現複雜空間的分割。如下圖：
多個感知器組合成多層網路可解決xor問題，但不能解決所有非線性可分問題。我們用非線性啟用函式，可以擬合任意函式。求導用誤差反向傳播方法，求極值用梯度下降法。具體求導用theano或tensorflow封裝的方法。
梯度下降法的步子大小是個很重要的技巧。在離極值點遠的時候步子可以大一些，離極值點近的時候步子要小一些。可以動態調整學習率。如下圖：
三 從貝葉斯角度看正則化
1. 正則化的目的：防止過擬合！2. 正則化的本質：約束（限制）要優化的引數。
從貝葉斯角度
看正則化就是最大後驗概率估計(maximum a posteriori estimation, map)
，正則項等價於引入引數的先驗概率分布。常見的l1/l2正則，分別等價於引入先驗資訊：引數符合拉普拉斯分布/高斯分布。
深度學習入門09 從感知機到神經網路
在之前的文章中，我們學習了感知機。在之後的幾期文章中，我們主要學習一下神經網路的基礎知識。通過之前的學習，我們知道，即便是計算機進行的複雜處理，感知機 理論上 也可以將其表示出來。但是，感知機卻有乙個最重要的問題，就是感知機各個節點對應的權重都需要人為地設定，比如我們使用感知機實現基本邏輯閘電路功能...
深度學習 感知機
在人工智慧領域，有乙個方法叫做機器學習，在機器學習這個方法裡，有一類演算法叫神經網路。我們用一張圖來更加形象的表示 上圖中的每個圓圈都是乙個神經元，每條線表示神經元之間的連線。我們可以看到，上面的神經元被分為許多層，層與層之間的神經元有連線，而層內的神經元沒有連線。最左邊的層叫做輸入層，這層負責輸入...
深度學習 感知機
感知機是什麼 簡單邏輯電路 感知機的實現 感知機的侷限性 多層知感機 1.感知機 感知機接受多個訊號，輸出乙個訊號 感知機的訊號只對應1 0兩種情況 x1，x2為輸入訊號，w1.w2為一開始給定的權重，y為輸出的訊號，每個圈為乙個神經元，神經元會計算傳送過來的訊號的總和，只有當這個總和超過了某個界限...