概率論是用於表示不確定性宣告的數學框架。
概率論使我們能夠提出不確定性宣告以及在不確定性存在的情況下進行推理，而資訊理論使我們能夠量化概率分布中的不確定性總量。
資訊理論是應用數學的乙個分支，主要研究的是對乙個訊號能夠提供資訊的多少進行量化。在本系列教程中我們主要使用資訊理論的一些關鍵思想來描述概率分布或者量化概率分布之間的相似性。
幾乎所有的活動都需要一些在不確定性存在的情況下進行推理的能力。事實上，除了那些定義為真的數學宣告，我們很難認定某個命題是千真萬確的或者確保某件事一定會發生。
被建模系統內的隨機性
不完全觀測。即使是確定的系統，當我們不能觀測到所有驅動系統行為的變數時，該系統也會呈現隨機性。
不完全建模。當我們使用一些必須捨棄某些觀測資訊的模型時，捨棄的資訊會導致模型的**出現不確定性。
在很多情況下，使用一些簡單而不確定的規則要比複雜而確定的規則更為實用，即使真正的規則是確定的並且我們建模的系統可以足夠精確的容納複雜的規則。
概率論沉思錄 前言
1998年4月30日jaynes去世。此前，他曾經要我完成並出版他的這本關於概率論的書。為此，我曾糾結了一段時間。因為我認為jaynes毫無疑問想完成這本書 但不幸的是，這本書後面的許多章節 也就是第2卷，它著眼於應用 或者有遺漏或者是不完整的，即便是前面的部分章節中也有漏掉的片段。我本可以寫完剩下...
概率論學習
離散型隨機變數的值和概率的分布列表 在很多教材中，這樣的列表都被叫做離散型隨機變數的 概率分布 其實嚴格來說，它應該叫 離散型隨機變數的值分布和值的概率分布列表 這個名字雖然比 概率分布 長了點，但是對於我們這些笨學生來說，肯定好理解了很多。因為這個列表，上面是值，下面是這個取值相應取到的概率，而且...
概率論基礎
概率論 第一章 隨機事件及其概率 分為兩類 1.確定性現象 2.隨機現象 1.1隨機事件及其運算 1.隨機試驗與樣本空間 隨機試驗具有下列三個特徵 1 試驗可在相同條件下重複進行 2 試驗的結果不止乙個 3 每次實驗之前，不能判定哪乙個結果將會出現 用e表示隨機試驗。試驗e中的每乙個可能結果稱為基本...