統計學習方法 學習筆記（1）

統計學習方法的三要素：模型、策略和演算法，

統計學習的物件是資料；

方法=模型+策略+演算法。

監督學習，也就是利用訓練資料學習乙個模型，在用這個模型對測試樣本進行**。而由於訓練資料是由人為提供的，所以稱之為監督學習。

1、模型

模型即是假設空間對應的條件概率或者是決策樹函式。

2、策略

這裡引入了損失函式和風險函式，所謂損失函式就是度量模型一次**的好壞，而風險函式則是度量平均意義下模型**的好壞。

常用的損失函式有：

0—1損失函式、平方損失函式、絕對損失函式以及對數損失函式。

損失函式越小，模型就越好。

模型關於聯合分布的期望稱之為風險函式，然而聯合分布p（x,y）通常是未知的，再次引入了期望風險來替代風險函式，但是在實際情況中，往往訓練資料並沒有那麼多，所以期望風險難以取代風險函式。在此就引出了監督學習的2個基本策略：經驗風險最小化和結構風險最小化。

《統計學習方法》學習筆記

最近把李航的 統計學習方法 看完了，感覺很不錯，從概論到各個統計方法，由易到難層層推進，每個方法都有詳盡的數學公式推倒，感覺很適合有一定數學功底的人作為機器學習入門來看。可惜本人自幼愚鈍，資質欠佳，以前學的概率論與數理統計的知識都忘得差不多了，看得雲裡霧裡的，前面還好，越到後面越看不明白，遇到不懂的...

《統計學習方法》學習筆記1 概論

統計學習的物件是資料。統計學習的方法 監督學習 非監督學習 半監督學習 強化學習。統計學習方法三要素 模型 策略 演算法。輸入空間與輸出空間 輸入與輸出可能的取值的集合。具體輸入通常由特徵向量表示。特徵向量存在的空間為特徵空間。模型定義在特徵空間上。監督學習的目的是學習乙個由輸入到輸出的對映，由模型...

李航 統計學習方法 學習筆記 1 統計學習方法概論

1.4 模型評估與模型選擇 1.5 其他.考研終於告一段落，接下來是安心等待入學。想利用這段時間系統學習一下機器學習基礎，簡單記錄一下自己的學習過程，也算是對自己的一種監督。下面詳細介紹一下 策略 首先引入損失函式與風險函式的概念。損失函式度量模型一次 的好壞，風險函式度量平均意義下模型 的好壞。統...