概率論使我們能夠提出不確定的申明以及在不確定性存在的情況下進行推理，而資訊理論使我們能夠量化概率分布中不確定性的總量。
我們用概率來表示一種信任度，概率直接與事件發生的頻率相聯絡，稱為頻率派概率。概率涉及到確定性水平，稱為貝葉斯概率。
期望：對隨機變數的值求平均。
方差：衡量的是當我們對x
xx依據它的概率分布進行取樣時，隨機變數x
xx的函式會呈現多大的差異。當方差很小時，f(x
)f(x)
f(x)
的值形成的簇比較接近他們的期望值。
資訊理論基本方法是乙個不太可能的時間居然發生了，要比乙個非常不可能的時間發生能提供更多的資訊。
AI聖經 深度學習 讀書筆記（一） 引言
機器學習 ai系統需要具備自己 獲取自己獲取知識的能力 即從原始資料中提取模式的能力。許多人工智慧任務都可以通過以下方式解決 先提取乙個合適的特徵集，然後將這幾個特徵提供給簡單的機器學習演算法。表示學習 使用機器學習來發掘表示本身，而不僅僅把表示對映到輸出。深度學習 通過其他較簡單的表示來表達複雜表...
AI聖經 深度學習 讀書筆記（二） 線性代數
線性代數主要是面向連續數學。標量 乙個標量就是乙個單獨的數。向量 乙個向量就是一列數。我們可以把向量看成空間中的點，每個元素是不同座標軸上的座標。矩陣 矩陣是乙個二維陣列，其中每個元素由兩個索引所確定。張量 乙個陣列中的元素分布在若干維座標中的規則網路。元素對應相乘 a b a b a b 點積 c...
深度學習讀書筆記（1）
欠擬合 模型不能在訓練集上獲得足夠低的誤差 過擬合 訓練誤差和測試誤差之間的差距太大。通過調整模型的容量，可以控制模型是否偏向過擬合或者欠擬合。從預先知道的真實分布p x,y 而出現的誤差被稱為貝葉斯誤差。任何模型容量小於最優容量的固定引數模型會漸進到大於貝葉斯誤差的誤差值。在所有可能的資料生成分布...