1、基本概念
2、pac理論
3、vc維
4、極大似然，最大後驗概率，貝葉斯估計
5、模型評估與評價指標
6、模型診斷調參
概率近似正確（pac）理論是從概率的角度來衡量模型的正確率，給出了pac可辨識，樣本複雜度界，誤差上界。
偏差/方差
偏差和方差是機器學習中很重要的兩個概念，在分析模型時對應於欠擬合和過擬合問題。
以回歸問題為例，上圖中左邊為乙個線性擬合，可以看出，擬合的程度不夠（欠擬合），與真實樣本的偏差較大，右邊的圖類似於插值曲線，基本上每個點都擬合的過好（過擬合），然而我們的訓練集只是樣本數真實分布的乙個子集，並不代表所有的樣本（測試集）都能擬合的很好，一般而言，由於右圖模型複雜度較高，往往泛化能力不如簡單的模型。而中間的圖擬合的程度和模型的複雜度都不錯，因此，機器學習中更傾向於中間的模型最優。
談一談PAC學習理論
這個系列的部落格，我將整理一下關於pac 學習理論的知識。目的是用相對數學的角度，對pac 理論的數學給出框架，再從通俗易懂的角度，給與相對直白的理解。機器學習作為乙個當下十分火熱的話題，引來了無數學者的廣泛研究。甚至高中已經開設了人工智慧課啦。那麼pac 學習理論，也叫計算學習理論，解決了乙個什麼...
關於 PAC 學習理論的一點思考
第一章中給出了軸平行矩形這一概念類，並且推導出了樣本複雜度，從而說明了是 pac 可學習的。但後面 vc維章節可以分析一下這一概念類的vc 維，在泛化界章節，可以給出基於vc維的泛化界，並且與這裡的泛化界進行對比。在泛化界章節，最好再強調一下泛化誤差界 和 pac 可學習的關係。有了泛化界，並沒有完...
學習理論 VC維
1 基本概念 2 pac理論 3 vc維 4 極大似然，最大後驗概率，貝葉斯估計 5 模型評估與評價指標 6 模型診斷調參 在pac理論中，我們用假設空間的取值n nn來描述模型的複雜度，然而很多時候假設空間的取值是無限的，比如線性模型中模型屬於連續空間，我們無法用取值來衡量模型的複雜度，vc維的主...