學習深度學習，我先從神經網路開始。在介紹神經網路之前，先介紹一下什麼是神經元。
神經元是神經網路的最小結構，將多個神經元組合在一起就形成了神經網路。神經元也可以經過一些設定之後形成乙個邏輯回歸模型。
神經元可以看成是最小的神經網路。下圖是神經元的基本結構圖，神經元有多個輸入，乙個輸出。下圖中的輸入 x
1x_1
x1，x
2x_2
x2，x
3x_3
x3 分別通過加權然後求和得到了神經元中的值 w∗x
w*xw∗
x，然後把該值送到乙個函式 h
hh 中，然後得到輸出。
這裡需要注意一點的就是，上圖為了把中間過程展示出來，所以多加了乙個圖(1)。其實圖(1) 和圖(2) 本來就是乙個神經元。還有就是在輸入的地方我們一般都會多加乙個 1，這個 1 是和 b
bb 進行相乘。
我們 h
hh 函式的公式如下：
以上就是神經元的主要結構，下面我們來看看神經元的計算。比如我們的輸入 x
xx = [3, 1, 2]（這裡省略了 +1 這個值），w
ww = [0.4, 0.6, 0.5]，啟用函式 h(a
)=a/
10h(a) = a / 10
h(a)=a
/10，那麼最後的輸入為：
前面提到過說 w
ww 和 b
bb 定義的是分類線或者分類面。即通過一組 w
ww 和 b
bb 確定的直線或者面能夠將資料樣本分成兩類。
在神經元中還有乙個結構就是啟用函式。在神經元的結構中，一旦將神經元的啟用函式確定之後，那麼這個神經元就可以是乙個模型了。比如說我們這裡有乙個 sigmoid 的啟用函式（下圖），將該啟用函式應用到神經元的結構中之後，這個神經元就具體化了，該神經元就是乙個二分類邏輯斯蒂回歸模型。
sigmoid 函式有這麼幾個性質，首先它的輸出是在 0-1 之間，是乙個對稱函式，對稱點為 (0, 0.5)，而且該函式在 [-6, 6] 之間是比較陡峭的。其中最重要的一點就是函式值是在 0-1 之間，我們很容易就聯想到概率也是在 0-1 之間的，如果我們將 hw(
x)h_w(x)
hw(x)
代入 sigmoid 函式中，會得到以下式子：
相應的就可以求出 y=0
y=0y=
0 和 y=1
y=1y=
1 的概率：
這裡我們就定義好了二分類邏輯斯蒂回歸模型。
邏輯斯諦回歸模型
logistic分布函式形式 在該方程式中，x是隨機變數，是平均值，s是與標準偏差成比例的比例引數。這個方程我們只需要了解，在邏輯回歸模型中真正用到的是sigmoid函式 當上式中的 0，s 1時，即為sigmoid函式 s z 11 e z s z frac s z 1 e z 1 邏輯回歸 lo...
學習筆記 logistic回歸與神經元模型
參考 定義 涉及符號及意義 樣本 x y 一般數量為m個，x一般表示為乙個n維向量，y 為 1 或 0 報是目標值屬於0，1分類 訓練集 樣本集 作為訓練模型中引數的訓練資料，使用 x i 表示第 i 個樣本 神經元模型 可以看作乙個擁有 多個輸入和乙個輸出的黑箱，在黑箱中進行一系列操作，並且根據一...
機器學習演算法詳解 邏輯斯蒂回歸模型
邏輯斯蒂回歸模型是一種分類模型，其目的解決分類問題而非回歸問題。logistic回歸是乙個判別模型，直接學習後驗概率分布，其學習演算法可以理解為極大似然估計法。模型分類演算法通過定義乙個分離超平面來分割不同類別的資料，用sigmoid函式作為後驗概率分布函式來對輸入資料進行分類。模型的學習演算法通過...