樸素貝葉斯法

文章記錄的內容是參加datawhale的組隊學習統計學習方法（第二版）習題解答過程中的筆記與查缺補漏！

參考解答位址：樸素貝葉斯法。

解答思路：

先回顧一下用極大似然法估計樸素貝葉斯引數的過程。

既然是估計引數，那麼先明確一下樸素貝葉斯中有哪些引數：$p(y = c_k)$ 和 $p(x^j = x^j \mid y = c_k)$。

在書中，給出的這兩個引數的極大似然估計是：

\[p(y = c_k) = \frac^n i(y_i = c_k) },\:\: k = 1, 2, ..., k

\]\[p(x^j = x^j \mid y = c_k) = \frac^n i(x_i^j = a_,\: y_i = c_k ) }^n i(y_i = c_k)},\:\:j = 1, 2, ..., n;\: l = 1, 2, ..., s_j;\: k = 1, 2, ..., k

\]其中 $x_i^j$ 是第 $i$ 個樣本的第 $j$ 個特徵，$a_$ 是第 $j$ 個特徵的第 $l$ 個取值，$s_j$ 是第 $j$ 個特徵的不同取值個數，$i$ 是指示函式。

極大似然估計的一般步驟：參考wiki：

具體的證明過程參考這裡。

注意，上圖中第乙個紅框的隨機變數個人認為應該是 $p(y = c_k)，即把 $y = c_k$ 的概率看成了乙個隨即變數，並假設這個隨機變數的分布服從二項分布。在貝葉斯估計引數時，要注意區別哦！

解答思路：

先回顧一下用貝葉斯估計樸素貝葉斯引數的過程。

在極大似然估計樸素貝葉斯中的引數時，可能會存在估計值為0的情況，通過貝葉斯估計可以解決這一問題。

對於樸素貝葉斯中的引數，它們的貝葉斯估計為：

\[p_\lambda (x^j = a_ \mid y = c_k) = \frac^n i(x_i^j = a_, y_i = c_k) + \lambda}^n i(y_i = c_k) + s_j \lambda }

\]\[p_\lambda(y = c_k) = \frac^n i(y_i = c_k) + \lambda }

\]注意到上面的貝葉斯估計中多了乙個引數 $\lambda \geq 0$，這相當於在每個特徵的頻數的基礎上加上了 $\lambda$，當 $\lambda = 1$ 時又稱為拉普拉斯平滑。顯然有：

\[p_\lambda(x^j = a_ \mid y = c_k) > 0

\]\[\sum_^ p_\lambda(x^j = a_ \mid y = c_k) = 1

\]具體的證明過程參考這裡。