設c個類$\omega_,...,\omega_$分別具有類先驗概率$p(\omega_),...p(\omega_)$。如果除了已知這些類概率分布以外，其他資訊不得而知，則使分類錯誤率最小的決策規則是，若物件的
$$p\left( w_\right) > p\left( w_\right)，k=1,...,c; k\neq j$$
則將該物件歸屬於$w_$類。這種分類決策按照最大先驗概率把所有物件進行分類，而對那些具有同等先驗概率的樣本，隨機的歸入這些類中的任何乙個。
對於觀察向量或測量向量$\vec x$，希望將其歸入c類的某一類。
如果向量$\vec x$ 關於$w_$類的概率，即$p(w_|\vec x)$,比關於其它所有類$w_,...,w_$的概率都大，則基於概率的決策規則將$\vec x$歸於$w_$類。也就是說，如果：
$$p\left( w_|\vec x\right) >p\left( w_|\vec x\right)，k=1,...,c; k\neq j$$
則將$\vec x$歸入$w_$類。這種決策規則將測量空間劃分成c個區域$\omega_,...,\omega_$(區域$\omega_$可能是不聯通的)，如果$\vec x\in\omega_$,則$\vec x$屬於$w_$類。
利用貝葉斯定理，可以獲得先驗概率$p(w_)$和類條件概率密度函式$p(\vec x|w_)$表示的後驗概率$p(w_|\vec x)$:
$$p(w_|\vec x)=\frac\right)p\left( w_\right) }$$
由此，決策規則寫成：若
$$p(\vec x|w_)p(w_)>p(\vec x|w_), k=1,...,c;k\neq j$$
則將$\vec x$歸入$w_$類這就是最小錯誤貝葉斯決策規則。
對於兩類問題，決策規則可以寫成：若
$$l_(\vec x)=\frac)})}>\frac)})}，則\vec x\in w_類$$
函式$l_(\vec x)$稱為似然比。
分類錯誤概率p(error)可以表示為
$$p(error)=\sum ^_p(error|w_)p(w_)$$
其中，$p(error|w_)$是來自$w_$類的樣本的錯分概率，可以通過對$[\omega_]$的補集上的類條件概率密度函式的積分獲得
$$p\left( error|w_\right) = \int _p\left( x|w_\right) dx$$
其中，$c[\omega_]$指除$\omega_$以外的測量空間(c為補集運算元)，即$\sum ^_\omega_$。因此，樣本的錯分概率寫成：
$$p(error) = \sum ^_\int _] }p(\vec x|w_) dx$$ $$ \qquad\qquad\qquad\qquad = \sum ^_p\left( w_\right) (1-\int _p\left(\vec x|w_\right) dx$$ $$ \qquad\qquad\qquad\quad =1- \sum ^_p(w_)\int _}p(\vec x|w_) dx$$
可以看出，最小化錯分概率等價於最大化正分概率
$$\sum ^_p(w_)\int _}p(\vec x|w_) dx$$
最小錯誤率貝葉斯決策
在一般的模式識別問題中，人們的目標往往是儘量減少分類的錯誤，追求最小的錯誤率。根據之前的文章，即求解一種決策規則，使得 mi np e p e x p x dx 這就是最小錯誤率貝葉斯決策。在上式中，p e x 0,p x 0 對於所有的 x 均成立，故mi np e 等同於對所有的 x 最小化p ...
基於貝葉斯最小錯誤率決策的分類
基於貝葉斯最小錯誤率決策的分類 假定某個區域性區域細胞識別中正常p w1 和異常p w2 兩類先驗概率分別為p w1 0.9,p w2 0.1現有一系列待觀察的細胞，其觀察值為 2.67 3.55 1.24 0.98 0.79 2.85 2.76 3.73 3.54 2.27 3.45 3.08 1...
最小風險貝葉斯決策
在決策中，除了關心決策的正確與否，有時我們更關心錯誤的決策將帶來的損失。比如在判斷細胞是否為癌細胞的決策中，若把正常細胞判定為癌細胞，將會增加患者的負擔和不必要的 但若把癌細胞判定為正常細胞，將會導致患者失去寶貴的發現和 癌症的機會，甚至會影響患者的生命。這兩種型別的決策錯誤所產生的代價是不同的。考...