可以咱學校教材大二版的《概率論與數理統計》 - 山大版, 來整一波, 為了簡化推導形式呢, 這裡就假設2個樣本空間的形式來展開, 基於(條件概率)全概率與貝葉斯作為核心.
栗子: 全概率與貝葉斯
設某廠有甲, 乙,丙 三個車間都生產 a 產品. 已知(先驗概率):
各車間產量分別佔全廠的 25%, 35%, 40%,
且各車間的次品率分別為 5%, 4%, 2%.
需求1: 現隨機抽取乙個樣本, 則它是次品的概率有多大?
求解如下:
設a1, a2, a3 分別表示 "產品分別由甲, 乙, 丙 車間生產",b 表示 "產品為次品"
顯然 a1, a2, a3 構成完備事件組 (就是乙個樣本空間), 且可得到:
p(a1) = 25%, p(b|a1) = 5%
p(a2) = 35%, p(b|a2) = 4%
p(a3) = 40%, p(b|a3) = 2%
要求p(b) 的(全) 概率, 其分散於, a, b, c 發生下, b的概率之和,即:
\(p(b) = p(a1)p(b|a1) + p(a2)p(b|a2) + p(a3)p(b|a3)\)
\(= \sum \limits _^3 p(a_i)p(b|a_i) = 0.0345\)
需求2: 現任意取一件, 已知是次品, 求是哪個車間生產的概率最大?
反推哦, 其實就是求 p(a1 |b), p(a2|b), p(a3|b)
\(p(a1|b) = \frac = \frac = 0.362\)
\(p(a2|b) = \frac = \frac = 0.406\)
\(p(a3|b) = \frac = \frac = 0.232\)
因此, b 的發生, 來自 \(p(a1|b)\) 即乙廠的可能最大.
這其中呢, 其實在不知不覺中用到了貝葉斯公式:
設a1,a2,a3..構成完備事件組, 則對任意一事件b有:
\(p(a_i|b) = \frac ^n p(a_i)p(b|a_i)}\)
分母是 全概率, 分子是 "分量"假設樣本空間 s1, s2, 現已知(樣本) 事件 x 發生. (但不知道是基於 s1 還是 s2)
請問: 當 x 事件已經發生下, 是基於 是基於 s1 的概率有多大?
即求 p(s1|x)
這就是乙個經典的條件概率問題.
先求 p(x) 的全概率:
\(p(x) = p(s1)p(x|s1) + p(s2)p(x|s2) \ (1)\)
目標( 根據貝葉斯定理:)
\(p(s1|x) = \frac \ (2)\)
$ p(s1|x) = \frac \ (3)$
分子, 分母同時 除以 分子得:
\(p(s1|x) = \frac + \frac } = \frac } \ (4)\)
令 \(y = ln [ \frac ]\) 回代到 (4):
即得出:\(p(s1|x) = \frac \)
對數運算性質:logistic 函式性質\(-y = ln [ \frac ]\)
也可以叫做, sigmoid 函式, 一樣的. 畫出來的話是乙個 "s" 形狀的曲線.
\(f(x) = \frac }\)
刻畫概率的累計分布, 如果從概率視角來認識的話.
\(p(y=1|x) = \frac }\)
輸入乙個 x (可以是標量, 向量), 輸出乙個 [0,1] 的值 的時候, y=1 的 概率是多少. 這裡y一共有兩種情況 y = 1或 y=0.這不就是乙個二分類問題嗎
結合線性模型:
\(p(y=1|x) = \frac } = \frac }\)
於是, 這樣就很清晰認識到, 邏輯回歸, 看著像回歸, 線性模型嘛, 其實是二分類.
下篇就整一波如何構造目標函式來求解引數向量 \(\theta\)
（附）邏輯回歸推導
邏輯回歸主要處理分類問題，屬於線性模型，模型表達能力有限需要構建深層次的特徵。ps 在推薦模型裡對lr改進著名的有fm和ffm模型增加了特徵自組合出更高維度的特徵來加強模型的表達。ps fm 因子分解機 對模型的引數以及對應的特徵進行分解來達到特徵組合的目的。ps ffm 場感知因子分解機 對fm引...
邏輯回歸原理及其推導
邏輯回歸原理 邏輯回歸是利用回歸類似的方法來解決分類問題。假設有乙個二分類問題，輸出y，而線性模型 下文將展示這個模型 的的 值z是實數值，我們希望找到乙個階躍函式將實數z對映為，這樣我們就能很好的處理分類問題了。那麼邏輯回歸中是使用什麼函式來進行對映的呢？就是sigmoid函式 關於為什麼用這個函...
Matlab 回歸分析第二講之Logistic回歸
logistic回歸 例 企業到金融商業機構貸款，金融商業機構需要對企業進行評估。評估結果為 0 1 兩種形式，0 表示企業兩年後破產，將拒絕貸款，而 1 表示企業 2 年後具備還款能力，可以貸款。在表 6 中，已知前 20 家企業的三項評價指標值和評估結果，試建立模型對其他 5 家企業 企業 21...