在生物神經網路中，其最小的組成單位是神經元。
學過高中生物的應該都知道，多個神經元相互連線形成神經網路，乙個神經元興奮時，則向相鄰的神經元傳送化學物質，改變其神經元的內部電位，當點位超過乙個「閾值」時，神經元興奮。
神經元的模擬圖如下：
xi為第i個輸入，ωi為第i個輸入的連線權重，y為輸出，θ為閾值。
當達到閾值，即神經元興奮時，才輸出，所以y只有兩種情況，有輸出，沒有輸出，令y=1代表有輸出，y=0代表沒有輸出。
所有的輸入之和為總輸入的訊號量：
用總輸入量減去閾值，判斷是否超過閾值：
所以，輸出y的函式定義如下：
若我們將θ視為乙個固定輸入的結點，其輸入值恒為-1，連線權重為θ，我們調整輸入x=(x1,x2,...,xn,-1)，調整權重ω=(ω1,ω2,...,ωn,θ)，則輸出y的函式定義如下：
這是乙個多麼熟悉的模型啊，這不就是線性回歸模型嗎，所以解這個模型的推導過程，和實現過程，就不再贅述了。
下面我想討論一下感知機模型或線性模型的侷限性：
其實其侷限性顯而易見，就是非線性可分的問題無法求解，那麼我們是否可以加入二次項，三次項或更高次項去模擬一些非線性可分的問題呢？
這是可行的，但是現實中的分類任務的分類邊界是十分複雜的，無法用相關函式近似，就算可以近似，如何確定用幾次項的函式去近似也是十分麻煩的。
那麼我們應該怎麼去求解非線性的問題呢？
在微積分中，計算曲線的長度是怎麼求的？我們用多段線段去近似表示曲線，當線段的數量趨近於+∞時，就是曲線的長度。那麼我們是否可以將線性不可分的問題近似分解為多個線性可分問題求解呢？
我們的乙個基礎單元（神經元）為乙個基礎的線性模型，我們將多個神經元相連，形成乙個神經網路，按輸出方向每一層的基礎線性模型（神經元）的輸出影響下一層線性模型（神經元），這樣逐層的，直到最後的輸出，這不就是將乙個線性不可分問題，分解成很多個線性模型的組合了嗎。
上述思想是關於神經網路模型的一種感性認知。
感知機模型
這裡介紹機器學習中最簡單的一種分類方法 感知機模型。感知機模型 其中sign是符號函式，w和b是引數，x是輸入特徵向量，f x 返回決策結果。分離超平面s 對於二類線性可分問題，分離超平面將兩類樣本分在s兩側。空間中一點x0到s的距離 損失函式 定義損失函式的意義是所有誤分類的點到分離超平面的距離之...
感知機模型
參考 感知機模型是理解svm和神經網路的基礎。在這裡我們可以從感知機模型上看到神經網路的影子，通過簡單的堆疊就可以成為mlp 神經網路的一種 在損失函式上看到svm的影子。那到底什麼是感知機呢？定義 在機器學習中，感知機 perceptron 是二分類的線性分類模型，屬於監督學習演算法。輸入為例項的...
感知機模型
1.簡介 感知機 perceptron 對應於輸入空間 特徵空間 中將例項劃分為正負兩類分離超平面，屬於判別模型，是神經網路及支援向量機的基礎。2.1感知機 若輸入空間 特徵空間 為 r n chi in r n rn 輸出空間為y y in y 輸入x表示例項的特徵向量，對應於輸入空間的點，輸出y...