定義
對於某個任務t和表現的衡量p，當電腦程式在該任務t的表現上，經過p的衡量，隨著經驗e而增長，稱計算機能夠通過經驗e來學習該任務。（tom mitchell）
舉例而言，在跳棋遊戲中，任務t為玩跳棋遊戲，衡量p是遊戲輸贏，經驗e是一局又一局的遊戲。
預先給出演算法「正確的結果」，即訓練集中對於任意乙個變數x，都已經有y與之對應，稱這樣的學習為監督學習。與之相對應的是：非監督學習（unsupervised learning）
舉例而言，假設你擁有房價資料，同時有交易房屋的占地面積x和房屋的交易**y，現在你希望**乙個750平方英呎的房屋的交易**。此問題就是乙個監督學習。（也可稱為回歸問題regression，因為我們能**的結果是連續的值）
舉例而言，假設你擁有腫瘤的資料，同時擁有腫瘤的尺寸，病人的年齡等變數x和某病人的腫瘤是良性或惡性y，現在希望**乙個病人的腫瘤是良性或者惡性的。此問題也是監督學習。（也可稱為分類問題classification）
在監督學習中，無論回歸問題還是分類問題，資料中總有乙個結果，如房價問題中房價，腫瘤問題中良性與否。而在非監督學習中，我們只有特徵，非監督學習解決的就是：我們的這些資料是否可以分為不同的組。
舉例而言，假設對於發表在us economy上的**，我們希望根據詞頻，句子長度將這些**其分為不同的組。（也可稱為聚類問題clustering）
舉例而言，「雞尾酒問題」，在凌亂的資料中發現結構，如在嘈雜的雞尾酒聚會中區分某人的聲音和**聲。
在quora上有篇回答可以幫助理解監督學習和非監督學習：機器學習演算法中監督學習和非監督學習的區別
機器學習 初識機器學習
1.什麼是機器學習？對於機器學習到現在都還沒有統一的定義，但是，通過乙個例子和較權威的定義來理解機器學習，最後附上我個人對機器學習的理解 2.監督學習 1 監督學習基本思想 我們資料集中的每個樣本都有相應的 正確答案 即每個樣本都是真實值，再根據這些樣本作出 舉乙個房價預售的例子來說明 eg 下面圖...
機器學習 機器學習目錄
注 後期有時間的話會對每乙個演算法進行講解。1 普通線性回歸 2 廣義線性模型 3 邏輯回歸 4 線性判定分析1 決策樹基本原理與構建 2 cart演算法 3 回歸決策樹 4 分類決策樹1 貝葉斯定理與樸素貝葉斯 2 高斯貝葉斯分類器 3 多項式貝葉斯分類器 4 伯努利貝葉斯分類器 5 遞增式學習1...
機器學習一 機器學習概要
回歸 是指把實函式在樣本點附近加以近似的有監督的模式識別問題。對乙個或多個自變數和因變數之間關係進行建模，求解的一種統計方法。分類 是指對於指定的模式進行識別的有監督的模式識別問題。異常檢測 是指尋找輸入樣本ni 1i 1 n中所包含的異常資料的問題。常採用密度估計的方法 正常資料為靠近密度中心的資...