經驗誤差
學習器在訓練集上的誤差稱為經驗誤差
2.過擬合
學習器的經驗誤差降低，同時泛化效能也跟著下降。
評估方法
劃分訓練集和測試集
1.留出法
資料劃分成互斥的兩組，並盡可能保證資料分布的一致性，避免因為劃分過程引入的偏差而對結果產生影響。
同時，單次使用留出法得到的估計結果往往不夠穩定，一般採用若干次隨機劃分，重複實驗評估。
2. 交叉驗證法
分成k組大小相似的互斥子集，一般採用分層取樣。選k-1份作為訓練集，餘下作為測試集。
3. 自助法
在資料量不夠大的時候，通過自助取樣法使得樣本規模一致：給定包含m個樣本的資料集d，有放回的取樣得到資料集d』, 可以保證約有36.8%的樣本不被採集到。
自助法在資料集較小、難以劃分訓練／測試集時很有用，資料量足夠時，前兩種更常用點。
4. 調參和最終模型
效能度量
錯誤率與精度
錯誤率： e(
f;d)
=1m∑
i=1m
i(f(
xi)≠
yi).
精度： ac
c(f;
d)=1
−e(f
;d)
查準率(precision)和查全率(recall)與f1
對於二分類問題，真是類別和**類別的組合劃分為真正例(tp),假正例(fp),真反例(tn),假反例(fn)。
precision的計算方法： p=
tptp
+fp
recall r=
tptp
+fn
p-r曲線：根據學習器的**結果對樣例進行排序，排在最前的是學習器認為最可能是正例的樣本。生成p-r曲線的方法是：取排序中的某一樣例前的所有樣例為**的正樣例，其餘為反樣例，計算出一組p-r值成為曲線中的乙個點。
f1度量：p、r的調和平均，跟算術平均和幾何平均相比，調和平均更重視較小值 f1
=2×p
×rp+
r
在不同的應用中對p、r的重視程度不一樣，f1的一般形式fβ
: fβ
=1+β
2×p×
r(β2
×p)+
r
roc和auc
真正例率tpr和假正例率fpr tp
r=tp
tp+f
nfpr
=fpf
p+tn
roc曲線畫法跟pr曲線類似，取tpr和fpr的點組形成，auc為roc曲線與frp軸形成的面積，縱軸為tpr。auc考慮樣本**的排序質量，因此與排序誤差有緊密聯絡。
比較檢驗
假設檢驗 #略
偏差與方差
方差,對樣本數相同的不同訓練集訓練誤差的方差 f¯
(x)=
ed[f
(x;d
)]方差： va
r(x)
=ed[
(f(x
;d)−
f¯(x
))2]
雜訊： ϵ2
=ed[
(yd−
y)2]
偏差： bi
as2(
x)=(
f¯(x
)−y)
2 泛化誤差： e(
f;d)
=ed[
(f(x
;d)−
yd)2
]=bi
as2(
x)+v
ar(x
)+ϵ2
[參考文獻]
machine learning by 周志華
選擇模型2
選擇模型 fd set結構可以把多個套接字連在一起，形成乙個套接字集合 typedef struct fd setfd set 網路事件 readfds集合 資料可讀，連線關閉，重啟或者中斷 writefds集合 資料能傳送 exceptfds集合 oob資料可讀 設定超時 如果為null為無限阻塞...
選擇模型2
選擇模型 fd set結構可以把多個套接字連在一起，形成乙個套接字集合 typedef struct fd setfd set 網路事件 readfds集合 資料可讀，連線關閉，重啟或者中斷 writefds集合 資料能傳送 exceptfds集合 oob資料可讀 設定超時 如果為null為無限阻塞...
模型評估與模型選擇
模型選擇的目的是使學到的模型對已知資料和未知資料都有較好的 能力，同時又要避免過擬合。所考察的指標主要是模型的訓練誤差及測試誤差，模型的複雜度越高，訓練誤差越小，但測試誤差先減小後增大。訓練誤差和測試誤差隨模型複雜度變化趨勢 過擬合是指模型的複雜度比真模型更高，模型選擇就是選擇測試誤差最小的適當複雜...