要善於憑藉，這樣萬利無害通常假設樣本空間中全體樣本服從某個未知分布，我們獲得的每個樣本都是獨立地從這個分布上取樣獲得的【（即「獨立同分布」）】
一般而言：【訓練樣本越多 ——> 得到關於該未知分布的資訊越多 ——> 越可能獲得具有強泛化能力的模型】【歸納】：特殊 ——> 一般的「泛化」（generalization）過程（【從具體事實歸結出一般性規律】）
【演繹】：一般 ——> 特殊的「特化」（specialization）過程（【從基礎原理推演出具體情況】）
【基於一組公理和推理規則推導出與之相恰的定理】 ——> 演繹
【從樣例中學習】 ——> （廣義）歸納學習（inductive learning）【假設空間】：在已知屬性和屬性可能取值的情況下，對==所有可能滿足目標（好瓜）==的情況的一種【毫無遺漏的假設集合】。（即假設***是好瓜）
【樣本空間】：【所有可能存在的、合理的、情況的集合】。它不以假設為出發點，【是所有樣本的集合】。樣本空間的大小則為m^n
【版本空間（version space）】：【與訓練集一致的假設集合】【演算法的歸納偏好是否與問題本身匹配】，大多數時候【直接決定】了演算法能否取得好的效能「沒有免費的午餐(no free lunch theorem, nfl)」：在所有「問題」出現的機會相同的前提下（假設了目標函式的均勻分布），無論學習演算法「聰明」與否，他們的【期望值相同】。
但實際情況是，【我們只關注自己正在試**決的問題（如某個具體應用任務）】，我們為此所作出的解決方案，我們並不關心它在別的問題上的作用。
因此還是回到之前所強調的：【演算法的歸納偏好是否與問題本身匹配，往往起到決定性的作用】**：
通常假設樣本空間中全體樣本服從某個未知分布，我們獲得的每個樣本都是獨立地從這個分布上取樣獲得的（即「獨立同分布」）
一般而言：訓練樣本越多 ——> 得到關於該未知分布的資訊越多 ——> 越可能獲得具有強泛化能力的模型
1.3 假設空間
歸納（induction）和演繹（deduction）是科學推理的兩大基本手段
e.g.在數學公理系統中：
狹義歸納學習：從訓練資料中學得概念，也稱概念學習（由於學得泛化效能好且語義明確的概念是在太困難，目前概念學習技術的研究和應用較少。最基本的是布林概念學習，即「是」「不是」的目標概念的學習）
學習過程：在假設空間中進行搜尋的過程，搜尋目標是找到匹配（fit）訓練集的假設，即能夠將訓練集中的瓜判斷正確的假設。
假設空間：由"（attr1=?）∧（attr2=?）∧（attr3=?）∧…∧（attrn=?）"的可能取值所形成的假設組成。
對假設空間進行搜尋，搜尋過程中可以不斷刪除與正例不一致的假設和與反例一致的假設，最終得到與訓練集一致（即對所有訓練樣本能進行正確判斷）的假設，這就是我們學得的結果。
由於假設空間一般很大，而學習過程基於有限樣本的訓練集進行的，因此可能有多個假設（組成「假設集合」，也即版本空間）與訓練集一致。
假設空間的規模大小：已知屬性有n個，要成為好瓜每個屬性的取值可能有m個，則假設空間的大小為m ^ n+1（若每個屬性取值可能有mi個，則為m1 * m2 *…+1，mi相等即為前面的m^n+1）
為什麼要+1呢？
首先解釋一下這個1指的就是不存在「好瓜」這種極端的情況。
其次我們可以發現這裡的假設空間的大小與之前所講的樣本空間的大小十分相似。在這裡將假設空間，樣本空間，版本空間做一下概念區分：
1.4 歸納偏好
版本空間給我們帶來的問題是，它每個假設對應的不同模型在面對同乙個新樣本時，極可能會產生不同的輸出，那麼採用哪個模型好呢？此時學習演算法本身的偏好就會起到關鍵作用。
歸納偏好（inductive bias）：機器學習演算法在學習過程中對某種型別假設的偏好（可以看做演算法自己的「價值觀」）
e.g. 可能會偏好的假設：
「聰明」演算法a永遠好於「笨拙」演算法b？
「沒有免費的午餐(no free lunch theorem, nfl)」：在所有「問題」出現的機會相同的前提下（假設了目標函式的均勻分布），無論學習演算法「聰明」與否，他們的期望值相同。（證明見教材）
但實際情況是，我們只關注自己正在試**決的問題（如某個具體應用任務），我們為此所作出的解決方案，我們並不關心它在別的問題上的作用。
因此還是回到之前所強調的：
演算法的歸納偏好是否與問題本身匹配，往往起到決定性的作用
201119西瓜書系列部落格 9 聚類任務
9.1 聚類任務 9.2 效能度量 9.3 距離計算 9.4 原型聚類 以原型方式聚類 9.5 密度聚類 以密度方式聚類 9.6 層次聚類 以層次方式聚類聚類試圖將資料集中的 樣本劃分為若干個通常是不相交的子集 每個子集稱為乙個簇 cluster 但需注意的是，聚類過程僅能自動形成簇結構，簇所對應的...
201119西瓜書系列部落格 5 神經網路
5.2 感知機與多層網路 5.3 誤差逆傳播演算法 5.4 全域性最小與區域性極小 5.5 深度學習 operatorname x left end right.階躍函式具有 不連續不光滑等 不太好的性質，因此實際常用sigmoid函式作為啟用函式。感知機 perceptron 由 兩層神經元 組成...
201119西瓜書系列部落格 13 半監督學習
主動學習仍需互動 顯然，主動學習需要與外界進行互動 查詢 打標，其本質上仍然屬於一種監督學習。無標記資料其實大有裨益 事實上，無標記樣本雖未包含標記資訊，但它們與有標記樣本一樣都是 從總體中獨立同分布取樣得到 因此它們所包含的資料分布資訊對學習器的訓練大有裨益。自動利用未標記樣本便是半監督學習 讓學...