這幾天學習在lda，終於把其原理搞清楚了，記錄一下要點
1. 引數估計和**
對於乙個已知模型，貝葉斯推理的兩個大問題，
1.引數估計，主要方法有極大似然估計（mle,maximum likelihood estimation）和極大後驗概率（map,maximum a posteriori estimation）,也可以直接求解p(/theta | x),其中x為已知資料集
2.**方法, 即對於乙個未知的特徵向量x，求p(x|x)(假設樣本之間滿足iid條件，)
1.1極大似然估計
極大似然估計，定義了似然函式,直接對似然函式求解其最大值（求導，梯度法等）
當**時，用估計值（單點）替代真實值（積分）
1.2 極大後驗概率
這個方法和mle很類似，不同之處在於引入了乙個先驗概率p（/theta）
同樣用求導或者梯度等方式求解出乙個值，
然後用單點的估計值近似替代真實的積分值獲得p(x|x)
1.3 貝葉斯推理（bayes inference）
和上面的方法不同，這裡不對引數估計出單個值，而是直接計算其分布，按分布積分獲得p（x|x）
其中
可以看出，從前往後，建模的精細程度增加了，能夠更好的建模實際的資料。對於mle和bi，都需要用到先驗概率。先驗概率可以包含已知的人類知識，平滑掉因為資料較少造成的抖動和誤差等。bi對整個分布進行積分，比前兩個方法的單點估計更加準確
但是另一方面，複雜的模型計算難度增加，可能沒有解析解，數學性質變差，在資料量不夠的情況下可能過擬合。。。。
我們建模時候希望找到一系列函式，既能有效的擬合出資料表達出主要特徵，同時，又具有良好的數學性質，減少推導和求解的難度。
lda便是其中一種比較好的模型
引數估計 引數估計
1 引數估計 用樣本統計量去估計總體的引數。2 估計量 用於估計總體引數的統計量的名稱 如樣本均值，樣本比例，樣本方差等 例如 樣本均值就是總體均值 3 引數用 4 估計值 估計引數時計算出來的統計量的具體值 如果樣本均值 5 點估計 例如 用樣本均值直接作為總體均值的估計乙個點估計量的可靠性是由它...
引數估計與非引數估計
引數估計 parameter estimation 根據從 總體中抽取的 樣本估計總體分布中包含的未知引數的方法。人們常常需要根據手中的資料，分析或推斷資料反映的本質規律。即根據樣本資料如何選擇統計量去推斷總體的分布或數字特徵等。統計推斷是數理統計研究的核心問題。所謂統計推斷是指根據樣本對總體分布或...
引數估計與非引數估計
背景知識 概率密度，直觀的理解就是在某乙個區間內，事件發生的次數的多少的問題，比如n 0，1 高斯分布，就是取值在0的很小的區間的概率很高，至少比其他等寬的小區間要高。引數估計要求明確引數服從什麼分布，明確模型的具體形式，然後給出引數的估計值。根據從總體中抽取的樣本估計總體分布中包含的未知引數。非引...