欠擬合：模型不能在訓練集上獲得足夠低的誤差；過擬合：訓練誤差和測試誤差之間的差距太大。
通過調整模型的容量，可以控制模型是否偏向過擬合或者欠擬合。
從預先知道的真實分布p(x,y)**而出現的誤差被稱為貝葉斯誤差。
任何模型容量小於最優容量的固定引數模型會漸進到大於貝葉斯誤差的誤差值。
在所有可能的資料生成分布上平均之後，每乙個分類演算法在未事先觀測的點上都有相同的錯誤率。
這可能不好理解，不過還有另一種理解，在某種意義上，沒有乙個機器學習演算法總是比其他的要好。
也就是說機器學習演算法並不是通用的，對於不同的問題要有針對性的設計演算法，當然這也只是相對最好的學習演算法。我們可以通過設定偏好來達到這個要求。
正則化是指修改學習演算法，使其降低泛化誤差而非訓練誤差。我所理解的正則化即給代價函式新增正則化項。
任何乙個由負對數似然組成的損失都是定義在訓練集上的經驗分布和定義在模型上的概率分布之間的交叉熵。
核心：學習出來的模型會以較大概率接近於最優模型。
因為輸入樣本過少導致找不到對測試資料具有更好分類結果的假設，那機器學習在學習什麼？在學習概率，雖不能對每個特定問題給出最優解，但是可以為問題求解提供乙個參考。例如，假設訓練集的誤差（訓練誤差）為
更多關於計算學習理論的內容可以看這裡
動手學習深度學習 讀書筆記 1
一直都有拜讀 動手學習深度學習 的慾望，無奈總是心裡說想要，身體又很誠實。最近由於全民戰 疫 只能天天宅在家裡，為了不荒廢學習報名參加了datawhale聯合博禹教育，上交大，和鯨科技和亞馬遜aws打造的 動手學習深度學習 的ai公益訓練營。藉此機會，好好的讀讀 動手學習深度學習 這本書。同時，本次...
動手學深度學習讀書筆記 1
深度學習簡介 應用深度學習的關鍵 問題的動機和特點 將大量不同型別神經網路層通過特定方式組合在 起的模型背後的數學原理 在原始資料上擬合極複雜的深層模型的優化演算法 有效訓練模型 避免數值計算陷阱以及充分利用件效能所需的工程技能 為解決方案挑選合適的變數 超引數 組合的經驗。絕大多數神經網路都包含以...
python深度學習讀書筆記 一
機器學習的要素 機器學習和深度學習的核心問題在於有意義的變換資料，換句話說在於學習輸入資料的有用表示 學習指的是尋找更好資料表示的自動搜尋過程 深度學習 學習資料表示的多級方法 1 深度學習的目標 尋找權重引數 2 深度學習的衡量標準 損失函式 3 深度學習的核心演算法 反向傳播演算法 載入kera...