第一章中給出了軸平行矩形這一概念類，並且推導出了樣本複雜度，從而說明了是 pac 可學習的。但後面 vc維章節可以分析一下這一概念類的vc 維，在泛化界章節，可以給出基於vc維的泛化界，並且與這裡的泛化界進行對比。
在泛化界章節，最好再強調一下泛化誤差界 和 pac 可學習的關係。有了泛化界，並沒有完全解決 pac 可學習這一問題。泛化界是假設以及假設空間的性質，只是給出了 經驗誤差逼近泛化誤差的衡量,也即假設的泛化誤差的上界和對整個假設類都成立的一致上界。但 pac 可學習需要刻畫 輸出假設的泛化誤差 和 最優假設的泛化誤差的差別。因此通常 pac 可學習是 erm + 泛化誤差界。
在穩定性一章也要強調一下， pac 可學習是 演算法的穩定性 + 演算法的erm+ 演算法的損失函式有上界 聯合導致的。另外穩定性隱含要求了假設空間不會太大。
understanding machine learning 上要求了 穩定性 等價於 不會過擬合，這相當於另一種解釋，可以想辦法結合進去。
可以寫一點 統計學習理論，各種 risk 的理論，以及 結構風險極小化，srm
可以寫 pac model for noisy label ,pac model for semi-supervised learning
可以寫一點主動學習的理論
在 pac理論中，把 stochestical learning scenario 以及 bayes risk 寫進去
另外還有很多思考記錄在了紙質材料上，例如
有限可分情況下其實也是可以用 hoeffding 不等式bound，但此 bound 則太鬆了，從 o(1/m) 變為 o(1/\sqrt)，or o(1/epsion) 變為 o(1/epsilon^2)
p(|e-\hat|) 與 p(e-\hat) 差乙個 2 的關係，(union bound)
pac 學習理論中有所謂的經驗誤差和泛化誤差，而一般演算法有訓練集誤差，測試集誤差，那是訓練集誤差對應經驗誤差，還是測試集誤差對應經驗誤差？
樣本複雜度是指訓練集的樣本的大小，因此這裡的經驗誤差應該是指訓練集誤差。在訓練時，通常是搜尋並保留訓練誤差小的假設，因為 泛化誤差 < 訓練誤差 + 複雜度項，如果假設複雜度項是不變的，則基於優化上界的原則，確實是應該選擇訓練誤差小的假設，當然這一上界並不緊，因此可能會導致過擬合的現象: 某個假設的訓練誤差較小，但其泛化誤差反而較大。
但若另外進行比較，例如比較兩種不同的演算法，則此時訓練誤差沒有意義，因為很可能不同的演算法（模型）考慮的假設空間所對應的複雜度項不一樣大。
但另一方面，測試誤差是泛化誤差的估計值，也可以用 test set 上的測試誤差來比較兩個演算法(模型)的好壞。 讀電子版 understanding ml p67 頁突然想到。
談一談PAC學習理論
這個系列的部落格，我將整理一下關於pac 學習理論的知識。目的是用相對數學的角度，對pac 理論的數學給出框架，再從通俗易懂的角度，給與相對直白的理解。機器學習作為乙個當下十分火熱的話題，引來了無數學者的廣泛研究。甚至高中已經開設了人工智慧課啦。那麼pac 學習理論，也叫計算學習理論，解決了乙個什麼...
關於學習的一點思考
最近發現有很多需要學習的東西，但是時間是有限的，如何更有效率的學習成了我思考的問題。scott h young用了12個月，通過網際網路完成了四年麻省理工大學33門的計算機課程，無疑他的一些分享可以帶來一些啟發。深入學習的第一步是對要學習的內容有個大致印象，可能需要多讀幾本同主題的書，相互考證。這個...
關於如何學習的一點思考
原文中這樣描述抽象類 抽象類往往用來表徵我們在對問題領域進行分析 設計中得出的抽象概念，是對一系列看上去不同，但是本質上相同的具體概念的抽象，我們不能把它們例項化 拿不出乙個具體的東西 所以稱之為抽象。比如 我們要描述 水果 它就是乙個抽象，它有質量 體積等一些共性 水果有質量 但又缺乏特性 蘋果 ...