1.符號主義學習：決策樹
2.連線主義學習：神經網路---深度學習
（深度學習的第二春原因：資料大了、計算能力強了。）
支援向量機（核方法）
我們希望的是，在新樣本上能表現很好的學習器。為了達到這個目的，應該從訓練樣本中盡可能學出適用於所有潛在樣本的「普遍規律」，這樣才能在遇到新樣本時做出正確的判斷。然而，當學習器把訓練樣本學得「太好」了的時候，很可能已經把訓練樣本自身的一些特點當作了所有潛在樣本都會具有的一般性質，這樣就會導致泛化能力下降。這種現象在機器學習中成為「過擬合」，與此相對的是「欠擬合」，這是指對訓練樣本的一般性質尚未學好。
（過擬合是機器學習面臨的關鍵障礙）
在現實任務中，我們往往有多種學習演算法可以選擇，甚至同乙個演算法，使用不同的引數配置時，也會產生不同的模型，那麼我們該選擇演算法，使用哪一種引數的配置呢？這就是機器學習中「模型選擇」的問題。
訓練集測試集
交叉驗證法
調參對學習器的泛化能力進行評估，不僅需要有效可行的實驗估計方法，還需要有衡量模型泛化能力的評價標準，這就是效能度量。
有了實驗評估方法和效能度量，看起來就能對機器學習的效能進行評估了，但是如何比較呢？實際上，機器學習中效能比較這件事要比我們想象複雜的多。那麼有沒有適當的方法對學習器的效能進行比較呢？
統計假設檢驗為我們進行學習器效能比較提供了重要依據。
機器學習基本概念
什麼是學習？如果乙個系統能夠通過執行某個過程改進它的效能，這就是學習。赫爾伯特 西蒙 什麼是機器學習？對於某給定的任務 t 在合理的效能度量方案 p的前提下，電腦程式可以通過自主學習任務 t 的經驗 e 隨著提供合適，優質，大量的經驗 e 該程式對於任務 t的效能逐步提高。任務，經驗，效能 什麼是統...
機器學習基本概念
1.基本的概念 領域集 乙個任意的集合 集合中的例項是我們希望能夠貼上標籤的資料。的元素稱為例項。標籤集 學習器所追求的結果集合。可以為，器想要得到的最終資料。訓練資料 帶標籤的領域及元素集合，通常會組成乙個區域性聚合s，也叫作訓練集。2.機器學習的一般流程 採集資料 標記 訓練 得到 器 乙個學習...
機器學習基本概念
1.基本概念 訓練集 測試集 特徵值 監督式學習 非監督學習 半監督學習 分類 回歸 2.概念學習 概念學習是指從某個布林函式的輸入輸出訓練樣例中推斷出該布林函式。3.樣例 天氣 溫度 濕度 風力 水溫 預報 享受運動 1 晴 暖 普通 強 暖 一樣 是 2 晴 暖 大 強 暖 一樣 是 3 雨 冷...