華電北風吹
天津大學認知計算與應用重點實驗室
最後修改日期：2015/8/22
近來看**中經常看到gda和樸素貝葉斯，並且**中說的演算法中用到的貝葉斯公式，對怎麼用的原理以前沒有仔細研究，今天仔細的看了斯坦福機器學習的關於gda，nb和lr的講義部分。理解了貝葉斯公式在gda和nb中的原理，以及gda和lr的關係。
與以前學習貝葉斯公式相比
貝葉斯公式：對於目標b有不同的到達方式ai，i=1,2,3,...,n。已知p(ai)和p(b|ai)的話，如果知道b發生了，可以知道ai的後驗概率。
在gda和nb中，類別標籤就相當於ai,每乙個特徵相當於b的乙個分量。根據採集到的樣本和樣本的標籤，根據先驗概率最大化思想可以計算出每乙個類別的概率p(ai)和條件概率p(b|ai)，然後對於測試樣本可以根據貝葉斯公式計算這個樣本屬於每乙個類別的後驗概率，取最大的即為**類別。
簡而言之就是，訓練乙個樹形結構，每乙個節點yi的子節點集合都包括所有的輸出，然後根據貝葉斯公式計算出概率最大的那個yi做為輸出。lr，gda，nb都是基於先驗概率最大化得到模型引數，然後根據後驗概率最大化確定類別。
------------------
祝身體健康，萬事如意
張正義
天津大學電腦科學與技術學院
天津市衛津路92號
郵編： 300072
貝葉斯判別分析
部分借鑑於 bayes判別 假定對研究物件已經有一定的認識，但這種認識常用先驗概率來描述，取得樣本後，就可以用樣本修正已有的先驗概率，得到後驗概率。r語言實現 回代函式如下 discriminiant.bayes function trnx1,trnx2,rate 1,tstx null,var.e...
ML 高斯判別分析
華電北風吹 天津大學認知計算與應用重點實驗室 日期 2015 12 11 高斯判別分析屬於生成模型，模型最終學習乙個特徵 類別的聯合概率。0 多維正態分佈 確定乙個多維正態分佈只需要知道分布的均值向量 rn 1 和乙個協方差矩陣 rn n 其概率密度函式如下 p x 1 2 n 2 1 2exp 1...
ML 高斯判別分析
華電北風吹 天津大學認知計算與應用重點實驗室 日期 2015 12 11 高斯判別分析屬於生成模型，模型終於學習乙個特徵 類別的聯合概率。0 多維正態分佈 確定乙個多維正態分佈僅僅須要知道分布的均值向量 rn 1 和乙個協方差矩陣 rn n 其概率密度函式例如以下 p x 1 2 n 2 1 2ex...