1.4 模型評估與模型選擇
1.5 其他...
考研終於告一段落,接下來是安心等待入學。想利用這段時間系統學習一下機器學習基礎,簡單記錄一下自己的學習過程,也算是對自己的一種監督。
下面詳細介紹一下「策略」,首先引入損失函式與風險函式的概念。損失函式度量模型一次**的好壞,風險函式度量平均意義下模型**的好壞。
統計學習常用的損失函式有以下幾種:0-1損失,平方損失,絕對損失函式,對數損失函式。
損失函式的期望是理論上模型 f(x) 關於聯合分布 p(x, y)的平均意義下的損失,稱為風險函式(risk function)或期望損失(expected loss)。
一方面根據期望風險最小學習模型要用到聯合分布,另一方面聯合分布又是未知的,所以監督學習就成為 乙個病態問題(ill-formed problem)。
模型 f(x) 關於訓練資料集的平均損失稱為經驗風險(empirical risk)或經驗損失(empirical lost),記作 remp。
期望風險 rexp(f) 是模型關於聯合分布的期望損失,經驗風險 remp(f) 是模型關於訓練樣本集的平均損失。根據大數定律,當樣本容量 n 趨於無窮時,經驗風險 rexp(f) 趨於期望風險 remp(f)。所以乙個很自然的想法是用經驗風險估計期望風險。但是,由於現實中訓練樣本數目有限,甚至很小,所以用經驗風險估計期望風險常常並不理想,要對經驗風險進行一定的矯正。這就關係到監督學習的兩個基本策略:經驗風險最小化和結構風險最小化。
經驗風險最小化 (empirical risk minimization, erm)的策略認為,經驗風險最小的模型是最優的模型。根據這一策略,按照經驗風險最小化求最優模型就是求解最優化問題:
比如,極大似然估計 (maximum likelihood estimation) 就是經驗風險最小化的乙個例子。但是,樣本容量很小時,經驗風險最小化學習的效果就未必很好,會產生"過擬合(over-fitting)" 現象。
結構風險最小化(structure risk minimization, srm)是為了防止過擬合而提出來的策略。結構風險最小化等價於正則化(regularization)。
比如,貝葉斯估計中的最大後驗概率估計 (maximum posterior probability estimation, map) 就是結構風險最小化的乙個例子。
還有正則化與交叉驗證,模型泛化能力,生成模型(如樸素貝葉斯和隱馬爾科夫模型)與判別模型(k近鄰、感知機、決策樹和支援向量機),以及分類問題、標註問題(nlp裡的詞性標註)和回歸問題的內容,知識點不一一細記,主要梳理一下疑問的地方。
好奇上圖中第乙個不等式右邊括號裡為什麼不是 1/n… 上圖書中第1版的式1.27和式1.28有誤,分子少了n^2,與分母n約掉後結果為n。
李航統計學習方法筆記1 統計學習方法概論
模型 由輸入到輸出的對映 假設空間 由輸入空間到輸出空間的對映多集合 模型 由條件概率分布p y x 或決策函式y f x 表示 損失函式 度量模型一次 的好壞,用乙個損失函式來度量 錯誤的程度 風險函式 度量平局意義下模型 的好壞 經驗風險 模型f x關於訓練資料集的平均損失 當模型上條件概率分布...
李航 統計學習方法 筆記 1 統計學習方法概論
統計學習由監督學習 非監督學習 半監督學習和強化學習等組成,本書主要討論監督學習。監督學習的任務是學習乙個模型,使模型能夠對任意給定的輸入,對其相應的輸出做出乙個好的 方法 模型 策略 演算法 在監督學習過程中,模型就是所要學習的條件概率分布或決策函式。策略即從假設空間中選取引數最優模型,模型的分類...
機器學習 李航《統計學習方法》 筆記 1
1.2 監督學習 1.統計學習的特點 1.以計算機及網路為平台,是建立在計算機及網路之上的 2.以資料為研究物件,是資料驅動的學科 3.目的是對資料進行 和分析 4.以方法為中心,構建模型並應用模型進行 與分析 5.是概率論,統計學,資訊理論,計算理論,最優化理論,及電腦科學等多個領域的交叉學科,並...