歸納偏好：
機器學習演算法在學習過程中對某種型別假設的偏好，稱為「歸納偏好」或簡稱為「偏好」。
偏好的原則：
奧卡姆剃刀：若有多個假設與觀察一致，則選擇最簡單的那個。
沒有免費午餐定理：
首先約定如下：
樣本空間χ
\chi
χ：離散的
假設空間h
\eta
h：離散的
l
al_a
la：乙個訓練出的演算法
x
xx:訓練資料，x∈χ
x\in\chi
x∈χh
hh：演算法l
al_a
la基於訓練資料x
xx產生的假設hhhp
(h∣x
,la)
p(h|x,l_a)
p(h∣x,
la)
：演算法l
al_a
la基於訓練資料x
xx產生的假設h
hh的概率
f
ff：希望學習的真實目標函式
i (∗
)i(*)
i(∗)
：指示函式，當∗
*∗為真時取值1，否則取值0
對所有可能的f
ff按均勻分布對誤差求和：
∑ fe
ote(
la∣x
,f
)\displaystyle\sum_fe_(l_a|x,f)
f∑eot
e(l
a∣x
,f)=∑f
∑h∑x
∈χ−x
p(x)
i(h(
x)≠f
(x))
p(h∣
x,la
)=\displaystyle\sum_f\displaystyle\sum_h\displaystyle\sum_p(x)i(h(x)\not = f(x))p(h|x,l_a)
=f∑h∑
x∈χ
−x∑
p(x)
i(h(
x)
=f(x
))p(
h∣x,
la)
= ∑x
∈χ−x
p(x)
∑hp(
h∣x,
la)∑
fi(h
(x)≠
f(x)
)=\displaystyle\sum_p(x)\displaystyle\sum_hp(h|x,l_a)\displaystyle\sum_fi(h(x)\not = f(x))
=x∈χ−x
∑p(
x)h∑
p(h
∣x,l
a)f
∑i(
h(x)
=f
(x))
= ∑x
∈χ−x
p(x)
∑hp(
h∣x,
la)1
22∣χ
∣=\displaystyle\sum_p(x)\displaystyle\sum_hp(h|x,l_a)\dfrac2^
=x∈χ−x
∑p(
x)h∑
p(h
∣x,l
a)2
12∣
χ∣= 12
2∣χ∣
∑x∈χ
−xp(
x)∑h
p(h∣
x,la
)=\dfrac2^\displaystyle\sum_p(x)\displaystyle\sum_hp(h|x,l_a)
=212∣
χ∣x∈
χ−x∑
p(x
)h∑
p(h∣
x,la
)= 12
2∣χ∣
−1∑x
∈χ−x
p(x)
⋅1
=\dfrac2^\displaystyle\sum_p(x)\cdot1
=212∣
χ∣−1
x∈χ−
x∑p
(x)⋅
1 總誤差與學習演算法無關：
∑ fe
ote(
la∣x
,f)=
∑feo
te(l
b∣x,
f)
\displaystyle\sum_fe_(l_a|x,f)=\displaystyle\sum_fe_(l_b|x,f)
f∑eot
e(l
a∣x
,f)=
f∑e
ote
(lb
∣x,f
) 結論：無論學習演算法l
al_a
la多好、學習演算法l
bl_b
lb多壞，它們的期望效能是相同的。這就是沒有免費的午餐定理（no free lunch theorem）。
nfl定理的前提：所有問題出現的機會相同或所有問題同等重要，但實際情況不是這樣，我們只需要關注自己想要解決的問題。
nfl的寓意：脫離具體問題，空泛地談「什麼學習演算法更好」毫無意義。
機器學習（歸納偏好）
歸納偏好 inductive bias 機器學習演算法在學習過程中對某種型別假設的偏好。例如 演算法喜歡盡可能特殊的模型，則會選擇 好瓜 色澤 根蒂 蜷縮 敲聲 渾濁 如果演算法盡可能一般的模型，則會選擇 好瓜 色澤 根蒂 蜷縮 敲聲 通俗來講 即在樣本空間中存在多種假設，演算法選擇某種模型假設的偏...
機器學習西瓜書筆記
概念 致力於通過計算的手段，利用經驗來改善系統自身的效能。其中，經驗以資料的形式存在。基本術語 資料集 記錄的集合。示例 樣本 每條記錄，關於乙個事件或物件的描述，反應事件或物件在某方面的表現或性質的事項。屬性 特徵 一條記錄 乙個樣本由多個屬性 特徵組成。屬性值 屬性或特徵的值。示例對應於乙個座標...
機器學習西瓜書 基本術語
一組記錄的集合，例如 注 d dd又稱為樣本的維數 資料集中每條記錄是關於乙個事件或物件的描述，例如 反映事件或物件在某方面的表現或性質的事項，例如 屬性上的取值，例如 屬性張成的空間，例如 假設有三種屬性 色澤 根蒂 敲聲，就可以張成乙個用於描述細化的三維空間，每個西瓜都可以在這個空間中找到自己的...