邏輯回歸 (lr) 的假設函式是
是由 sigmoid
函式g(z)
將 z=
θtx對映
到0到1之間
。當輸入變數觀測值時，得到
hθ(x)
的值就是樣本屬於
1分類的概率
。那麼，假設函式為什麼選取hθ(x)，而
hθ(x)
的值為什麼是
1這個分類的概率呢？
從概率圖模型（probabilistic graphical models, pgm）的角度來看，lr模型是馬爾科夫條件隨機場( conditional random fields, crf) 的一種簡單模型。首先，馬爾科夫圖模型是一種無向連線圖，與貝葉斯網路不同，它表示的是變數之間的相互影響關係，以影響因子刻畫，而貝葉斯網路表示的是變數之間自然的因果關係。當然，馬爾科夫網路也可以刻畫條件分布 p(y|x) ，其中y是目標變數集，x是觀測變數集。用馬爾科夫模型刻畫條件分布的場景，就是所謂的條件隨機場了（crf）。
條件隨機場的定義：
crf是乙個節點與yux對應的無向圖，可以將該圖引數化成一系列的因子，這些因子可以表示為乙個對數線性模型，即對數線性模型可以看作是對一系列因子的刻畫。為了使網路結構和條件分布對應，crf不包含只含x的位勢，即 di 不只屬於x；刻畫乙個條件隨機場如下，和刻畫吉布斯分布一樣，只是歸一化函式z（x）有所變化。
crf的主要優勢是避免在x上刻畫分布，這一特性允許引入我們需要的所有觀測變數，而不去考慮它們之間的複雜關係，只需要說明每乙個觀測變數對目標變數的影響。
邏輯回歸模型推導：
針對布林型變數x=,y=的樸素馬爾科夫模型。成對的位勢由對數線性模型定義，即因子的定義：
單節點y的位勢定義：
根據條件隨機場的定義計算條件分布：
其中g(z)為sigmod函式：
所以**函式的定義為
其**值的含義就是樣本屬於1這個分類的概率。
d. koller and n. friedman, "probabilistic graphical models", page 141
馬爾科夫隨機場
馬爾可夫鏈因安德烈 馬爾可夫 andrey markov，1856 1922 得名，是數學中具有馬爾可夫性質的離散時間隨機過程。該過程中，在給定當前知識或資訊的情況下，過去 即當期以前的歷史狀態 對於 將來 即當期以後的未來狀態 是無關的。時間和狀態都是離散的馬爾可夫過程稱為馬爾可夫鏈,簡記為 馬爾...
MRF馬爾科夫隨機場
hinton和ranzato最新的文章中用到了mrf馬爾科夫隨機場。一篇部落格 無向圖模型 undirected graphical model 又可稱為馬爾可夫隨機場 markov random field 是乙個可以由無向圖表示的聯合概率分布。設有聯合概率分布 p x x subset math...
馬爾科夫隨機場（MRF）與條件隨機場（CRF）
條件隨機場 conditional random fields 是一種判別式圖模型，因為其強大的表達能力和出色的效能，得到了廣泛的應用。從最通用角度來看，crf本質上是給定了觀察值集合 observations 的馬爾可夫隨機場。在這裡，我們直接從最通用的角度來認識和理解 crf，最後可以看到，線性...