我們給定模型的函式關係 y=
f(x)
和m個資料點(x
i,yi
) 的集合,對整個集合極小化最大絕對偏差|y
i−f(
xi)|
,即確定模型的函式型別y=
f(x)
的引數從而極小化數量
max|yi
−f(x
i)|i
=1,2
…m如果令ri
=|yi
−f(x
i)| ,使用切比雪夫近似準則,我們依次可以得到 r1
,r2,
r3⋯ ,我們稱其為殘值, 之後我們獲取這些絕對偏差的絕對值 |r
1|,|
r2|,
|r3|
⋯ ,令其最大者為
maxr
那麼我們可以獲得其約束條件 |r
1|≤r
|r2|≤
r |r
3|≤r
⋮|rm
|≤r
這樣我們就將問題轉化為乙個線性規劃問題,每乙個不等式我們都能替換為兩個等式,r−
ri≥0
和 r+r
i≥0 .計算機利用單純形法能夠快速的找到我們想要的解,即r
當極小化最大絕對偏差很重要的時候,我們就需要使用切比雪夫近似準則,特別是在用一函式代替乙個區間上定義的另乙個函式時,我們必須令在該區間上的兩個函式的最大差異值達到最小,這時候切比雪夫準則就發揮著巨大的作用.
在我們將曲線轉化為直線然後進行擬合資料的時候,預設的就使用了極小化絕對偏差之和.當時我們盡可能的使模型建立的直線接近資料所描繪出的直線,從而得到其解.
我們可以將這一準則概括為: 對於給定的模型函式關係y=
f(x)
,以及m個資料點集合(x
i,yi
) ,我們極小化絕對偏差之和,因此來確定函式型別y=
f(x)
的引數,即 ∑i
=1m|
yi−f
(xi)
| 如果令ri=
|yi−
f(xi
)|,i
=1,2
⋯m代表每一處絕對偏差,那麼該準則可解釋成將一條由 ri
構成的直線的長度最小化.
但是在使用其進行計算解決最優化問題的時候,必須對該和式進行求導,從而找到臨界點,但是因為有了絕對值,導致該和式的微分並不是連續的,所以我們之後將會介紹數值近似解的技術
這是目前最常用也是最為重要的準則,該準則與極小化絕對偏差之和準則類似同樣令 ri
=|yi
−f(x
i)|,
i=1,
2⋯m , 記: r2
=∑i1
mr2i
=∑i=
1m|y
i−f(
xi)|
2 這時我們可以看出,最小二乘準則的本質上是求向量
r 的最小長度,該向量的座標代表了實際資料和模型**資料的絕對偏差這三個曲線擬合準則能夠幫助我們擬合許多模型.三個準則各有自己擅長的地方.
接下來我們來談談切比雪夫近似準則和最小二乘準則他們之間的偏差。
假設我們的模型函式關係為 y=
f(x)
。 首先我們應用切比雪夫近似準則對其進行擬合，產生的絕對偏差為 ci
=yi−
f(xi
)i=1
,2⋯m
現在定義 cm
ax=max(c
1,c2
,⋯,c
m),運用切比雪夫近似準則對模型進行資料擬合之後，cm
ax是我們能夠獲得的最小極大絕對偏差
同時，我們運用最小二乘準則對該模型進行資料擬合，產生的絕對偏差為 di
=yi−
f(xi
)i=1
,2⋯m
同時，我們定義dm
ax=max(d
1,d2
,⋯,d
m)，對於前面所討論的cm
ax，現在我們能夠迅速得到 dm
ax≥c
max
因為最小二乘準則涉及 di
的特殊特徵是他們的平方和為我們能夠得到的最小值，所以必有以下不等式 ∑i
=1md
2i≤∑
i=1m
c2i
對於任何乙個
i ，都有 ci
≤cma
x，所以我們能夠得到 ∑i
=1md
2i≤m
cmax
為了方便討論，我們定義 d=
∑mi=
1d2i
−−−−
−−−√
m 那麼我們能夠得到 d≤
cmax
≤dma
x 這是乙個很重要的不等式，如果我們計算
d ，能夠給出cm
ax的下界，同時dm
ax 是c
max 的上界，如果發現d 和
dmax
之間存在著巨大的差異，那麼我們在進行擬合的時候，就應該考慮使用切比雪夫近似準則
模型過度擬合
這幾天在訓練乙個文字處理的機器學習演算法，使用支援向量機和決策樹演算法在訓練集上的資料的準確度特別高，但是在測試集上的資料的準確度確很低，於是陷入過度擬合的煩惱中，查詢資料發現一些多度擬合的看法。仔細想想確實在訓練時存在一些問題，第一 輸入變數多，由於缺乏對問題的根本認識，使用了很多無關變數，這個問...
模型過擬合
訓練模型都會將資料集分為兩部分，一般會將0.8比例的資料集作為訓練集，將0.2比例的資料集作為測試集，來訓練模型。模型過擬合就是訓練出來的模型在訓練集上表現很好，但是在測試集上表現較差的一種現象，也就是模型對已有的訓練集資料擬合的非常好 誤差值等於0 對於測試集資料擬合的非常差，模型的泛化能力比較差...
模型過擬合與欠擬合
機器學習中，經常討論到的乙個話題就是泛化能力。泛化能力的強弱決定了模型的好壞，而影響泛化能力的則是模型的擬合問題。機器學習的目的並不是為了對訓練集的做出正確的 而是對沒有在訓練集中出現的資料進行正確的 但是對訓練集之外的資料 的前提是，模型在訓練集上的表現很好，基本可以滿足大部分資料的 這樣才會被用...