貝葉斯，最早接觸是在《概率與數理統計》中，但是當初也只是當做得分的tool了，沒能有較深的印象，在近一年的時候，機器學習當中又再次的接觸到了，當然也只是知道它是做**有一手，在spam filter 上有應用，但是較深刻的原理也只是最近看了，劉未鵬的數學之美番外篇：平凡而又神奇的貝葉斯方法，
感觸很深。
貝葉斯公式當中p(x/y)=p(x)*p(y/x)/p(y), 它最核心的地方在於，事件的概率=先驗*近似/常規項。
【近似】劉的博文當中提到的拋硬幣當中，若果你拋硬幣一次出現正面，此時**下一次出現正面的概率，此時應用似然估計，概率就是 p = 1 了（注意此處，我們對於**所用的知識只有，這一次實驗的結果），如若校園中第乙個見到的人是穿長褲子的男生，此時做**，結論就是穿長褲子的都是男生。很簡單的我們都知道上述的兩種場景中的估計都是離實際情況偏差太大，是人們無法接受的。
【先驗】原因就是，我們在**時候沒有加入我們對於結果的先驗知識即常識，硬幣有兩面，各自的出現的概率近似等於0.5.在褲子當中，常識，女生很多也穿長褲。例子：
在直線擬合當中，在overfitting的時候，是高次多項式，擬合的想過非常好，每乙個樣本都能夠滿足。如若只進行似然估計的話，這個擬合結構就可以了，但是在進行**的時候，結果是不敢看的。然而當使用直線模型進行擬合( 此時樣本點和**的點之間是有bias )，進行**的時候能夠取得較好的結果。原因是在該資料型別當中線性模型的出現的概率遠大於高次的模型，即線性模型在此有較大的先驗。 延伸：
此處也想到了結構風險最小化和經驗風險最小化，前者對應今天所說的先驗，後者對應的是近似。如何取得權衡，貝葉斯理論就能解決這個問題！
occam's razor 理論：
當你有兩個處於競爭地位的理論能得出同樣的結論，那麼簡單的那個更好。
當中和上面所述聯絡起來，也是有支援理論的！
感悟：
生活當中，具體點就是寫**的時候，往往質量不高的文章中充斥著各種繁複的公式，往往令人望而生畏。而在好的文章中，公式相對簡單，理論闡述清晰。科學取自生活，生活本性簡單，當只關注生活的淺層時候，繽紛複雜的景象使得人們不得不嘗試使用複雜的東西去表示，然而當透過這層表象去看深層次的特徵時候，一切就變得簡單而且有規律了。科學家的工作是透過複雜的表面觀察深層的規律，並用簡單的模型去表示。上帝的語言是簡單的，只不過人們很難透過這些表象，去進行觀察罷了。
很多時候，會想到自己沒有幹很多事情，而感到懊悔，自己沒有很多東西，而感覺自卑。感覺自己往往就如那個歐洲故事中，給自己圈地的地主一樣，等跑回到起點的時候，也就是自己生命終結的時刻了。最終，自己需要的也不過是，不足兩三平方公尺的大小的地方安身罷了。
生活的簡單些吧，去掉身上繁重的枷鎖，盡可能的向前，向著自己的夢想，放手去飛翔去吧！
貝葉斯 01 初識貝葉斯
分割線 分割線 分割線 分割線 分割線 分割線 分割線 分割線 分割線 分割線 分割線 分割線 分割線 最先知道貝葉斯公式還是四年前的概率論和數理統計課上，時間也很久了，具體內容早已經忘記，不過畢竟曾經學過，重新看過還是得心應手的。大概用兩三篇的內容來介紹一下貝葉斯，以及機器學習中很重要的一部分 樸...
貝葉斯 02 理解貝葉斯
首先簡略回顧一下，全概率和貝葉斯。其實這兩者是密不可分的，互相之間是乙個順序問題，全概率反過去就是貝葉斯，這類問題只需要區分清楚是知道原因求結果，還是知道結果尋原因就可以了。全概率公式是計算由諸多原因而導致的某件複雜事情發生的概率，而貝葉斯就是在這件複雜的事情已經發生的前提下，去尋找諸多原因中，某一...
貝葉斯公式
貝葉斯定理由 英國數學家貝葉斯 thomas bayes 1702 1763 發展，用來描述兩個條件 概率之間的關係，比如 p a b 和 p b a 按照 乘法法則 p a b p a p b a p b p a b 可以立刻匯出 如上公式也可變形為 p b a p a b p b p a 例如 ...