由前面介紹看到，單個感知器能夠完成線性可分資料的分類問題，是一種最簡單的可以「學習」的機器。但他無法解決非線性問題。比如下圖中的xor問題：即（1,1）（-1,-1）屬於同一類，而（1,-1）（-1,1）屬於第二類的問題，不能由單個感知器正確分類。
即在minsky和*****t的專著《感知器》所分析的：感知器只能解決所謂一階謂詞邏輯問題：與（and），或（or）等，而不能解決異或（xor）等高階謂詞羅輯問題。
單個感知器雖然無法解決異或問題，但卻可以通過將多個感知器組合，實現複雜空間的分割。如下圖：
將兩層感知器按照一定的結構和係數進行組合，第一層感知器實現兩個線性分類器，把特徵空間分割，而在這兩個感知器的輸出之上再加一層感知器，就可以實現異或運算。
也就是，由多個感知器組合：
來實現非線性分類面，其中θ(·)表示階躍函式或符號函式。
實際上，上述模型就是多層感知器神經網路（multi-layer perceptron neural networks，mlp neural netwoks）的基礎模型。神經網路中每個節點為乙個感知器，模型生物神經網路中神經元的基礎功能：來自外界（環境或其他細胞）的電訊號通過突觸傳遞給神經元，當細胞收到的訊號總和超過一定閾值後，細胞被啟用，通過軸突向下乙個細胞傳送電訊號，完成對外界資訊的加工。
但是，感知器的學習演算法並不能直接應用到多層感知器模型的引數學習上。因此，最初提出的學習方案是：除了最後乙個神經元之外，事先固定其他所有神經元的權值，學習過程只是用感知器學習演算法學習最後乙個神經元的權係數。實際上，這相當於通過第一層神經元把原始的特徵空間變換到乙個新的特徵空間，第一層的每個神經元構成新空間的一維，然後在新的特徵空間用感知器學習演算法構造乙個線性分類器。顯然，由於第一層的神經元權值需要人為給定，模型的效能很大程度取決於能否設計出恰當的第一層神經元模型，而這取決於對所面臨的的問題和資料的了解，並沒有針對任意問題求解第一層神經元引數的方法。
多層感知器（MLP）
一.簡述多層感知器 mlp 1.深度前饋網路 deep feedforward network 也叫前饋神經網路 feedforward neuarl network 或者多層感知機 multilayer perceptron,mlp 是典型的深度學習模型。這種模型被稱為前向 feedforward...
模式識別 感知器 Perceptron
線性可分 在特徵空間中可以用乙個線性分介面正確無誤地分開兩 類樣本 採用增廣樣本向量，即存 在合適的增廣權向量 a 使得 則稱樣本是線性可分的。如下圖中左圖線性可分，右圖不可分。所有滿足條件的權向量稱為解向量。權值空間中所有解向量組成的區域稱為解區。通常對解區限制 引入餘量b，要求解向量滿足 使解更...
TFboy養成記 多層感知器 MLP
這裡多層感知器 寫的是乙個簡單的三層神經網路，輸入層，隱藏層，輸出層。的目的是你和乙個二次曲線。同時，為了保證資料的自然，新增了mean為0，steddv為0.05的雜訊。新增層 def addlayer inputs,insize,outsize,activ func none insize ou...