在第一章的1.2.6節,有公式(1.68)
\[p(t | x, \mathbf, \mathbf)=\int p(t | x, \boldsymbol) p(\boldsymbol | \mathbf, \mathbf) \mathrm \boldsymbol
\]這個公式實際上是在貝葉斯框架下對回歸\(t=y(x,w)\)進行推斷,即給出了新的\(x\)(注意粗體的區別,\(\mathbf\)是測試集的樣本,這部分資訊是已知的)下,我們對t的後驗概率進行推斷。
\[lhs=p(t | x, \mathbf, \mathbf)=\int p(t,\boldsymbol|x,\mathbf, \mathbf)d\boldsymbol\]而
\[\beginrhs&=\int p(t | x, \boldsymbol) p(\boldsymbol | \mathbf, \mathbf)\mathrm \boldsymbol\\ &=\int p(t|x,\boldsymbol,\mathbf, \mathbf)p(\boldsymbol | \mathbf, \mathbf,x)\mathrm \boldsymbol\\&=\int p(t,\boldsymbol|x,\mathbf, \mathbf)\mathrm \boldsymbol\end
\]第二個等式成立是因為
在1.5.1節,給出了錯誤分類率的公式
\[\beginp(\text ) &=p\left(\boldsymbol \in \mathcal_, \mathcal_\right)+p\left(\boldsymbol \in \mathcal_, \mathcal_\right) \\&=\int__} p\left(\boldsymbol, \mathcal_\right) \mathrm \boldsymbol+\int__} p\left(\boldsymbol, \mathcal_\right) \mathrm \boldsymbol\end
\]書中直接給出結論,要使得錯誤分類率最小,應該分給後驗概率\(p(c_k|x)\)最大的類別中。
推導過程如下:
對於最優的\(\mathcal_, \mathcal_\),只要滿足它的犯錯概率小於其他所有的決策區域\(\mathcal_』, \mathcal_』\)下的犯錯概率即可。
\[\beginp(\text ) &=p\left(\boldsymbol \in \mathcal_, \mathcal_\right)+p\left(\boldsymbol \in \mathcal_, \mathcal_\right) \\&=\int__} p\left(\boldsymbol, \mathcal_\right) \mathrm \boldsymbol+\int__} p\left(\boldsymbol, \mathcal_\right) \mathrm \boldsymbol\end
\]\[\beginp'(\text ) &=p\left(\boldsymbol \in \mathcal_』, \mathcal_\right)+p\left(\boldsymbol \in \mathcal_』, \mathcal_\right) \\&=\int__』} p\left(\boldsymbol, \mathcal_\right) \mathrm \boldsymbol+\int__』} p\left(\boldsymbol, \mathcal_\right) \mathrm \boldsymbol\end
\]對兩個做差,得到
\[p(mistake)-p'(mistake) \\=\int__\cap \mathcal_』 } (p\left(\boldsymbol, \mathcal_\right) -p\left(\boldsymbol, \mathcal_\right) )\mathrm \boldsymbol+\int__\cap \mathcal_』 } (p\left(\boldsymbol, \mathcal_\right) -p\left(\boldsymbol, \mathcal_\right) )\mathrm \boldsymbol
\]那麼我們只需要
由於$p\left(\boldsymbol\right) $是相同的,上述兩個公式等價於:
而任意\(\mathcal_\cap \mathcal_』\)其實就是\(\mathcal_\),任意\(\mathcal_\cap \mathcal_』\)其實就是\(\mathcal_\)
所以最優的分配規則就是,如果\(p\left(\boldsymbol| \mathcal_\right) \le p\left(\boldsymbol|\mathcal_\right)\)就分配到第一類上,如果\(p\left(\boldsymbol| \mathcal_\right) \le p\left(\boldsymbol|\mathcal_\right)\)就分配到第二類上。
關於第二類斯特林數的一丟丟東西
s n,m 表示有 n 個有區別小球,要放進 m 個相同盒子裡,且每個盒子非空的方案數 考慮乙個很容易的遞推 s n,m s n 1,m 1 m s n 1,m 考慮組合意義 假設前面的 n 1 個球丟進了 m 1 個組,因為每個組非空,所以這個球只有一種選擇 自己一組 如果前面的球已經分成了 m ...
乙個小菜鳥給未來的菜鳥們的一丟丟建議
寫這篇文章的主要原因是有個建築行業的朋友覺得搞建築身累心累,想轉到我們這個it行業來加入我們的程式設計大軍中,找我諮詢了一哈。在我了解了他的邏輯和理科這方面只是一般般的基礎上,我給他的建議是 學習前端,而不是後端 宣告沒有任何貶低前後端的意思哈,也絕對不是因為我也是前端開發的才給的這個建議,首先,對...
乙個sql引起的丟錶問題
背景 乙個已經執行了一段時間的老系統線上存在這種業務邏輯 start transaction drop tables if.a backup drop tables if.a tmp create table a tmp like a load into a tmp rename table a a...