是統計學習中的經典分類方法。最大熵是概率模型學習中的乙個準則，將其推廣到分類問題得到的最大熵模型（maximum entropy model）。lr和mem都屬於對數線性模型。
二項邏輯斯蒂回歸模型是一種分類模型，由條件概率分布p(
y|x)
,形式為引數化的邏輯斯蒂分布。這裡
x 隨機變數為實數，
y隨機變數為1或者0： p(
y=1|
x)=e
xp(w
∗x+b
)1+e
xp(w
∗x+b
) p(
y=0|
x)=1
1+ex
p(w∗
x+b)
給定測試樣本
x ，按照上式分別計算p(
y=1|
x)和p
(y=0
|x),然後比較兩者的大小，將
x 分到概率值較大對應的一類。（ps：只有當偏置b=
0的時候，才是與0.5進行比較，大於0.5分為1類，小於0.5分為0類。）
因為已經可以獲得條件概率的引數化形式，我們可以直接利用極大似然（後驗概率）估計法估計模型引數。 設：p
(y=1
|x)=
p(x)
,p(y
=0|x
)=1−
p(x)
似然函式：∏n
i=1[
p(xi
)]yi
[1−p
(xi)
]1−y
i 對數似然函式： l(
w)=∑
ni=1
[yil
og(p
(xi)
)+(1
−yi)
log(
1−p(
xi))
]=∑n
i=1[
yilo
g(p(
xi))
−yil
og(1
−p(x
i))+
log(
1−p(
xi))
]=∑n
i=1[
yilo
g(p(
xi)1
−p(x
i))+
log(
1−p(
xi))
]=∑n
i=1[
yi(w
∗x+b
)−lo
g(1+
exp(
w∗x+
b))]
最大熵原理是概率模型學習的乙個準則，最大熵原理認為，學習概率模型時在所有可能的概率模型中，熵最大的模型是最好的模型。通常用約束條件來確定概率模型的集合，所以最大熵原理可以表述為在滿足約束條件模型集合中選取熵最大的模型。
邏輯回歸和最大熵模型
因變數隨著自變數變化而變化。多重線性回歸是用回歸方程描述乙個因變數與多個自變數的依存關係，簡稱多重回歸，其基本形式為 y a bx1 cx2 nxn。二項分布即重複n次獨立的伯努利試驗。在每次試驗中只有兩種可能的結果，而且兩種結果發生與否互相對立，並且相互獨立，與其它各次試驗結果無關，事件發生與否的...
《統計學習方法》筆記06 LR邏輯回歸模型
我對lr模型的理解是，這是乙個形式很簡單的模型，對二分類問題來說 p y 1 x 1 1 e wx b 其中x為n維特徵組成的向量，w,b 為n維引數，兩者做點積，得到的結果放進lr模型中得到概率。lr模型的圖為 通過訓練集學習到w引數，然後對測試集，用上述公式計算其屬於正類的概率。w可以看出每個特...
統計學習方法 第六章 邏輯回歸與最大熵模型
2.最大熵模型 3.模型學習的最優化演算法 略 邏輯回歸與最大熵模型都屬於對數線性模型。二項邏輯回歸模型是一種分類模型，描述的是條件概率分布p y x p y x p y x 隨機變數x取值為實數，隨機變數y取值為0或1，邏輯回歸模型是如下的條件概率分布 有時為了簡單，也直接把wx bwx b wx...