邏輯回歸是一種分類模型，一般是二分類，書中給出了邏輯斯蒂分布的概率分布函式和影象，在機器學習中，我們需要得到的是條件概率分布，以二分類為例：
$ p(y=1|x) = \frac$
$p(y=0|x) = 1-p(y=1|x) $
當然一般形式是採用sigmoid函式那種形式：
$ p(y=1|x) = \frac}$
兩種形式是相等的，這裡的w是將偏移量b加入w後的向量，相應的x應該擴充為(x1
,x2,
...,
xn,1
)(x_1,x_2,...,x_n, 1)
(x1,x
2,.
..,x
n,1
)。我們的目的是估計w的值。
模型的估計使用最大似然估計，對數似然函式：
$l(w)=\sum_i[y_ilogp(y=1|x)+(1-y_i)log(1-p(y=0|x)] $
我們的目的就是求出讓−l(
w)-l(w)
−l(w
)最小的w，這裡我們選擇使用梯度下降法。
模型的概念介紹的比較簡單，大家看**就能看懂，這裡就不贅述了。
統計學習方法五 邏輯回歸分類
邏輯回歸分類 1，概念 2，演算法流程 3，多分類邏輯回歸 4，邏輯回歸總結 優點 1 結果是界於0和1之間的概率 2 可以適用於連續性和類別性自變數 3 容易使用和解釋 缺點 1 對模型中自變數多重共線性較為敏感，例如兩個高度相關自變數同時放入模型，可能導致較弱的乙個自變數回歸符號不符合預期，符號...
統計學習方法筆記（五）
決策樹模型呈樹形結構，在分類問題中，表示基於特徵對例項進行分類的過程，它可以認為是if then 規則的集合，也可以認為是定義在特徵空間與類空間上的條件概率分布。學習時，利用訓練資料，根據損失函式最小化的原則建立決策樹模型.時，對新的資料，利用決策樹模型進行分類決策樹學習通常包括3 個步驟 特徵選擇...
統計學習方法 五 AdaBoost
如果我有寫過整合方法的話 沒有的話看這篇整合學習理論 整合方法的一大類就是boosting，其基本思想就是不斷地在迭代過程中訓練basemodel，並增加誤分樣本的權重，直到達到停止條件後，組合basemodel。從整合學習的理論我們知道boosting在組合過程中會增大模型的variance，所以...