no free lunch theoren 定理 ，沒有免費的午餐定理，簡稱nfl定理，由美國史丹福大學的wolpert和macready教授提出。
在機器學習演算法中的體現為在沒有實際背景下，沒有一種演算法比隨機胡猜的效果好。
首先，我們假設乙個演算法為a，而隨機胡猜的演算法為b，為了簡單起見，假設樣本空間為
χ和假設空間為
h都是離散的。令 p(
h|x,
a)表示演算法a基於訓練資料x產生假設h的概率，再令f代表我們希望的真實目標函式。a的訓練集外誤差，即a
在訓練集之外的所有樣本上的誤差為 eo
te(a
|x,f
)=∑h
∑x∈χ
−xp(
x)i(
h(x)
≠f(x
))p(
h|x,
a),其中
i(⋅)
是指示函式，若
⋅為真則取值1，否則取值0.
考慮二分類問題，且真實目標函式可以是任何函式χ↦
,函式空間為|χ
|(|χ
|指樣本空間
χ中元素個數，對所有可能的f按均勻分布對誤差求和，有 ∑f
eote
(a|x
,f)=
∑f∑h
∑x∈χ
−xp(
x)i(
h(x)
≠f(x
))p(
h|x,
a)=∑
x∈χ−
xp(x
)∑hp
(h|x
,a)∑
fi(h
(x)≠
f(x)
)=∑x
∈χ−x
p(x)
∑hp(
h|x,
a)12
2|χ|
=2|χ
|−1∑
x∈χ−
xp(x
)∑hp
(h|x
,a)=
2|χ|
−1∑x
∈χ−x
p(x)
⋅1可以看到總誤差竟與演算法無關！對於任何兩個演算法a和b都有 ∑f
eote
(a|x
,f)=
∑feo
te(b
|x,f
)得證無論演算法多好在沒有實際背景情況下都不如隨機胡猜。
所以，nfl定理最重要意義是，在脫離實際意義情況下，空泛地談論哪種演算法好毫無意義，要談論演算法優劣必須針對具體學習問題。
機器學習 沒有免費的午餐定理
一種演算法 演算法a 在特定資料集上的表現優於另一種演算法 演算法b 的同時，一定伴隨著演算法a在另外某乙個特定的資料集上有著不如演算法b的表現 具體問題 機器學習領域內問題 具體分析 具體的機器學習演算法選擇 具體哪乙個函式更好，取決於資料本身的規律，而這個規律，從有限的觀測資料中，是不可能絕對準...
奧卡姆剃刀和沒有免費的午餐定理
奧卡姆剃刀 和 沒有免費的午餐 是機器學習中兩個很基本的原則和定理。由於名字有點怪，所以初學者可能在理解上陷入誤區。本文試圖用簡潔易懂的方式解釋這兩個原則和定理，並告訴大家它們的名字是怎麼來的。奧卡姆剃刀 和 沒有免費的午餐 是機器學習中兩個很基本的原則和定理，很多書都會提到它們來提公升逼格。不過，...
機器學習西瓜書 歸納偏好和沒有免費午餐定理
歸納偏好 機器學習演算法在學習過程中對某種型別假設的偏好，稱為 歸納偏好 或簡稱為 偏好 偏好的原則 奧卡姆剃刀 若有多個假設與觀察一致，則選擇最簡單的那個。沒有免費午餐定理 首先約定如下 樣本空間 chi 離散的 假設空間h eta h 離散的 l al a la 乙個訓練出的演算法 x xx 訓...