1.3統計學習三要素
方法 = 模型+策略+演算法
一模型（首先考慮學習什麼樣的模型）
模型的假設空間包含所有可能的條件概率分布或決策函式
假設空間用f表示，假設空間可以定義為決策函式的集合：f = ，策略函式表示的模型為非概率模型。
假設空間也可以定義為條件概率的集合：f = ，條件概率表示的模型為概率模型。
(x和y是定義在輸入空間x 和輸出空間y)
二策略（接下來考慮按照什麼樣的準則學習或選擇最優的模型）
1損失函式和風險函式：損失函式度量模型一次**出的好壞，風險函式度量平均意義下模型**的好壞。
損失函式是f(x)（**值）和y（真實值）的非負實值函式，記作l(y,f(x))
幾種常用的損失函式:(1)0-1損失函式
(2)平方損失函式
(3)絕對損失函式
(4)對數損失函式或對數似然損失函式
總結：損失函式值越小，模型就越好
給定乙個訓練資料集平均損失稱為經驗風險或經驗損失，記作：
ps:注意區別，期望風險是模型關於聯合分布的期望損失，經驗風險是模型關於訓練樣本集的平均損失
2經驗風險最小化與結構風險最小化（兩個基本策略）
經驗風險最小化的策略認為，經驗風險最小的模型是最優的模型（當樣本足夠大時，經驗風險最小化能保證有很好的學習效果，若樣本容量很小時，會出現過擬合的現象）
例子極大似然估計
結構風險最小化是為了防止過擬合而提出來的策略。結構風險最小化等價於正則化，結構風險在經驗風險上加上表示模型複雜度的正則化項或罰項。在假設空間，損失函式自己訓練資料集確定的情況下，結構風險定義為
j(f)表示模型的複雜度，從公式可以看出，結構風險小的話，需要經驗風險和模型複雜度同時小，結構風險小的模型往往對訓練資料以及未知的測試資料都有較好的**
例子最大後驗概率估計
三演算法（最後考慮用什麼樣的計算方法求解最優模型）
第一章 第三節
1.8 位址匯流排 位址匯流排上能傳送多少不同的資訊，cpu就可以對多少個儲存單元進行定址。64位的cpu 64位的作業系統 64位的軟體 64位的速度，缺一不可。64位就是64bit,也就是8byte 乙個cpu有n根位址匯流排，則可以說這個cpu的定址匯流排的寬度為n，這樣的cpu最多可以尋找2...
統計學習方法 第一章
1.統計學習的特點 2.統計學習的物件 對資料的基本假設 同類資料具有一定的統計規律性 3.統計學習的目的 4.統計學習方法 1.基本概念 x x 1,x 2,x i x n t x i x i 1 x i 2 x in t t x 1 y 1 x 2 y 2 x n y n 2.聯合概率分布 3....
統計學習方法第一章
1.numpy.poly1d 1,2,3 import numpy as np np.poly1d 1 2,3 poly1d 1 2,3 r np.poly1d 1 2,3 print r 1 62.from scipy.optimize import leastsq 表示scipy.optimiz...