1、奧卡姆剃刀（occam's razor）是一種常用的、自然科學研究中最基本的原則。即「若有多個假設與觀察一致，則選擇最簡單的那個」
2、「天下沒有免費的午餐」定理（no free lunch theorem,簡稱 nfl），證明了所有演算法的期望效能都相同。但我們要注意到nfl定理有乙個重要的前提：所有「問題」出現的機會相同、或所有問題同等重要。但實際上並不是這樣。很多時候我們只關注自己正在試**決的問題（例如某個具體的應用）。nlf最重要的寓意是讓我們清楚地認識到，脫離具體問題，空泛的談論「什麼學習演算法更好」毫無意義。
3、現在說的深度學習和二十世紀八十年代神經網路不是乙個內容。（他們分別是什麼？區別是什麼？）（深度學習是神經網路的延伸和發展）
4、一般大家都會認為是根據對人的大腦的研究來啟發演算法的研究。但p.kanerva在二十世紀八十年代中期提出sdm模型時並沒有可以模仿腦生理結構，但後來神經科學的研究發現，sdm的稀疏編碼機制在視覺、聽覺、嗅覺功能的腦皮層中廣泛存在。
5、「多釋原則」：主張保留與經驗觀察一致的所有假設，這與整合學習方面的研究更加吻合。（古希臘哲學加提出）
6、機器學習領域最重要的國際學術會議：
國際機器學習會議（icml）
國際神經資訊處理系統會議（nips）
國際學習理論會議（colt）等
參見西瓜書第17頁--18頁
西瓜書第一章筆記
在這裡先列舉一些我先前不了解的基本術語 根據一些樣例，來訓練我們的模型。如果 的是離散值，例如 好瓜 壞瓜 這種學習任務我們稱為 分類 classification 如果 的是連續值，例如西瓜的成熟度0.95 0.37，這類任務稱為 回歸 regression 泛化能力 generalization...
西瓜書第一章 緒論
人工智慧發展歷程 1 推理期 二十世紀五十年代到七十年代初。2 知識期 二十世紀七十年代中期，專家系統。3 學習期 二十世紀八十年代以來，被研究最多 應用最廣的是 從樣例中學習 一大主流是符號主義學習，代表包括決策樹和基於邏輯的學習 二十世紀九十年代中期之前，從樣例中學習 的另一主流技術是基於神經網...
（學習筆記）西瓜書 第一章
學習演算法 機器學習所研究的主要內容，是關於在計算機上從資料中產生 模型 的演算法，即 學習演算法 學習演算法的作用 屬性 特徵 反應事件或物件在某方面的表現或性質的事項 樣本空間 輸入空間 屬性張成的空間 n個特徵 n維空間 模型 從資料中學得的結果 學習器 學習演算法在給定資料和引數空間上的例項...