如果 y 是離散型變數 (對應著提公升分類樹 y 和 sign(h) 取 -1 和 1)
0-1 損失函式 (misclassification)指數損失函式 (adaboost)對數損失函式 (logitboost)支援向量損失函式 (support vector)
如果 y 是連續性變數 (對應著提公升回歸樹 y 和 h 取任意實數)
l2 損失函式 (regression boost)l1 損失函式huber 損失函式
對於每種演算法來說，代價函式不是唯一的；
代價函式是引數θ的函式；
總的代價函式j(θ)可以用來評價模型的好壞，代價函式越**明模型和引數越符合訓練樣本(x, y)；
j(θ)是乙個標量；
選擇代價函式時，最好挑選對引數θ可微的函式（全微分存在，偏導數一定存在）
統計學習方法三要素:模型,策略,演算法.
得到乙個有限的訓練資料集合
確定包含所有可能的模型的假設空間, 即學習模型的集合.
確定模型選擇的準則, 即學習的策略
實現求解最優模型的演算法, 即學習的演算法
通過學習方法選擇最優的模型
利用學習的最優模型對新資料進行**或分析.
分類問題
標註問題
回歸問題
李航統計學習方法筆記1 統計學習方法概論
模型 由輸入到輸出的對映 假設空間 由輸入空間到輸出空間的對映多集合 模型 由條件概率分布p y x 或決策函式y f x 表示 損失函式 度量模型一次 的好壞，用乙個損失函式來度量 錯誤的程度 風險函式 度量平局意義下模型 的好壞 經驗風險 模型f x關於訓練資料集的平均損失 當模型上條件概率分布...
李航 統計學習方法 筆記 1 統計學習方法概論
統計學習由監督學習 非監督學習 半監督學習和強化學習等組成，本書主要討論監督學習。監督學習的任務是學習乙個模型，使模型能夠對任意給定的輸入，對其相應的輸出做出乙個好的 方法 模型 策略 演算法 在監督學習過程中，模型就是所要學習的條件概率分布或決策函式。策略即從假設空間中選取引數最優模型，模型的分類...
《統計學習方法》李航學習筆記心得
最近開始學習這本書，初看感覺有些難度，主要想記錄一些重點知識和一些難的點進行詳細理解。1.3 統計學習方法三要素 1.3.1 模型 1.3.2 策略 1.3.3 演算法 1.4 模型評估與模型選擇 1.5 正則化與交叉驗證 1.6 泛化能力 1.7 生成模型和判別模型 本書所介紹統計學習 stati...