西瓜書讀書筆記之模型評估與選擇(三)

2021-09-10 17:29:56 字數 798 閱讀 6574

希望比較的是泛化技能,實驗評估方法得到的是測試集上的效能』

測試集上的效能與測試集本身的選擇有很大關係。大小、包含測試樣例的不同,都會影響測試結果。

很多學習演算法有一定隨機性

給測試效能賦值:假定我們用dl' d2 、d3 和d4 四個資料集對演算法a 、b 、c 進行比較.首先,使用留出法或交叉驗證法得到每個演算法在每個資料集仁的測試結果,然後在每個資料集上根據測試效能由好到壞排序,並賦予序值1 , 2, ...,若演算法的測試效能相同,則平分序值.

使用friedman 檢驗來判斷這些演算法是否效能都相同.若相同,則它們的平均序值應當相同. 假定我們在n個資料集上比較k個演算法,令ri表示第 i個演算法的平均序值,為簡化討論,暫不考慮平分序值的情況,則ri服從正態分佈,其均值和方差分別為(k+ 1)/2 和(k2 - 1)/12.統計量

「 原始friedman檢驗「 過於保守,現在通常使用變數

上述檢驗比較可以直觀地用friedman 檢驗圖顯示。例如根據表2.5 的序值結果可繪製出圖2.8 ,圖中縱軸顯示各個演算法,橫軸是平均序值.對每個演算法用乙個圓點顯示其平均序值,以圓點為中心的橫線段表示臨界值域的大小.然後就可從圖中觀察,若兩個演算法的橫線段有交疊,則說明這兩個演算法沒有顯著差別,否則即說明有顯著差別.

西瓜書筆記 模型評估與選擇

錯誤率 分類錯誤的樣本數佔樣本總數的比例 精度 1 錯誤率 訓練誤差 經驗誤差 學習器在訓練集上的誤差 泛化誤差 學習器訓練之後,在新樣本上的誤差 過擬合 學習器把訓練樣本學習的 過好 導致泛化能力下降。欠擬合 學習器尚未學好訓練樣本的一般性質。以下四種方法可以有效地從乙個資料集中分出訓練集 s 和...

西瓜書讀書筆記(三) 線性模型

全部筆記的彙總貼 機器學習 西瓜書 讀書筆記彙總貼 線性模型 linear model 試圖學得乙個通過屬性的線性組合來進行 的函式,我們一般用向量的形式來表示,f x wt x bf x w tx b f x w tx b 因為w ww直觀地表達了各屬性在 中地重要性,因此線性模型有很好地可解釋性...

西瓜書 第二章模型評估與選擇

錯誤率 a 分類錯誤的樣本個數 m 樣本個數 精度 1 錯誤率 誤差 實際 輸出與樣本的真實輸出之間的差異 訓練誤差 經驗誤差 學習器在訓練集上的誤差 泛化誤差 學習器在新樣本上的誤差 注 我們希望得到泛化誤差小的學習器 過擬合 學習器的學習能力過於強大,把樣本中所包含的不太一般的特性學到了,導致的...