學習週期：5.19-5.25
學習時長：
5.20 4h -chap7
5.21 1h (19:00-20:00) -chap8
5.22 0.5h (20:00-20:30) -chap8
5.23 1.5h (19:00-20:30) -chap9
5.24 0h (老大回北京了，活就多了)
5.25 1h（19:30-20:30）-chap9
學習內容：chap7-chap9
一句話心得：
- 先理解模型概念，後面再看模型實現。
筆記核心概念：線性可分支援向量機、線性支援向量機、非線性支援向量機
與感知機的區別：
感知機利用誤分類最小策略，有無窮多解。
線性可分支援向量機用間隔最大化求最優分離超平面，唯一解。
啟發式演算法：
啟發式演算法（heuristic algorithm)是相對於最優化演算法提出的。乙個問題的最優演算法求得該問題每個例項的最優解。啟發式演算法可以這樣定義：乙個基於直觀或經驗構造的演算法，在可接受的花費（指計算時間和空間）下給出待解決組合優化問題每乙個例項的乙個可行解，該可行解與最優解的偏離程度一般不能被預計。
元啟發式策略（metaheuristic）則不同，元啟發式策略通常是乙個通用的啟發式策略，他們通常不借助於某種問題的特有條件，從而能夠運用於更廣泛的方面。元啟發式策略通常會對搜尋過程提出一些要求，然後按照這些要求實現的啟發式演算法便被稱為元啟發式演算法。許多元啟發式演算法都從自然界的一些隨機現象取得靈感（e.g. 模擬退火、遺傳演算法）。現在元啟發式演算法的重要研究方向在於防止搜尋過早得陷入區域性最優，已經有很多人做了相應的工作，例如禁忌搜尋（tabu）和非改進轉移（模擬退火）。
問題 p99 7.13，1/2 怎麼求得？–為了求導方便，復合函式求導指數上的2可以和1/2約掉。
p116 基於橢圓case的對映函式計算出核函式。不用care核函式。
對映函式對模型的解釋性很直觀，為什麼不求？參考logistic回歸，現做logit變換後基於對映後的輸入空間進行建模
adaboost（adaptive boost）
強可學習（strongly learnable）、弱可學習（waekly learnable）
本質是弱分類器的線性加權組合
問題： p141 分類誤差率最低的點是如何一眼求得的？
模型為加法模型、損失函式為指數函式、學習演算法為前向分布演算法。
基函式是二叉樹
根據殘差定義權重
本質是含有隱變數的概率模型引數的極大似然估計，生成模型：
e-expectation
m-maximization
完全資料（complete-data）：觀測資料變數的資料+隱隨機變數的資料。不完全資料
q函式：完全資料的對數似然函式關於在給定觀測資料y和當前引數θi下對未觀測資料z的條件概率分布的期望。最大化q函式。
問題：什麼情況下會用到隱變數模型？
響應度：當前模型引數下第j個觀測資料來自第k個分模型的概率，稱為分模型k對觀測資料yj的響應度。
統計學習方法 1 統計學習方法概論
統計學習的主要特點是 1 統計學習以計算機及網路為平台，是建立在計算機及網路之上的 2 統計學習以資料為研究物件，是資料驅動的學科 3 統計學習的目的是對資料進行 與分析 4 統計學習以方法為中心，統計學習方法構建模型並應用模型進行 與分析 5 統計學習是概率論 統計學 資訊理論 計算理論 最優化理...
統計學習方法
這兩天翻了一下這本書，做個筆記，方便下次細看。本書主要講解統計學習中用到的監督學習。介紹了一些模型機器演算法。當參考書不錯，不怎麼適合死磕。第一章 主要介紹機器學習，統計學習的基本步驟，以及常用的表示方法。寫的比較系統，對於這個比較不熟悉的，可以好好看看。因為常用的模型就是這樣表示的，懂了這個看公式...
統計學習方法
第一章 方法概述 統計學習方法三要素 模型，策略，演算法 監督學習的重要問題 分類問題 classification 應用 銀行構建客戶分類模型，網路安全利用日誌資料對入侵檢測，影象處理檢測影象中是否有人臉，手寫識別識別分類手寫數字，網際網路搜尋網頁分類 二類分類評價指標 精確度，召回率，f1值 標...