李航統計學習方法第一章內容梳理
得到乙個有限的訓練資料集合，包括樣本特徵的抽取；
確定包含所有可能的模型的假設空間（即學習模型的集合），對應判別模型和生成模型的訓練中，就是建立目標模型的數學公式描述
確定模型選擇的準則，即學習的策略
實現求解最優模型的演算法，即學習的演算法，這塊常常是學習策略的具體數學化表示，演算法作為策略實現的手段
通過學習方法選擇最優模型，這部分又可以分為直接求出解析最優解、和逐步迭代求每輪的區域性最優解從而逼近全域性最優解（例如sgd）
利用學習的最優模型對新資料進行**或分析
1、統計學習是什麼？
特點：以計算機及網路為平台；以資料為研究物件，他從資料出發，提取資料的特徵，抽象出資料的模型，又回到對資料的分析與**中去。資料可以是多樣的，包括存在於計算機網路上的各種數字、文字、影象、視音訊等；目的是對資料進行**與分析，特別是對未知的資料進行**分析；以方法為中心，統計學習方法構建模型並應用模型進行**分析；是概率論、統計學、資訊理論等多領域的交叉學科。
重要性是什麼？
2、統計學習分類
基本分類：監督學習、無監督學習、強化學習、半監督學習和主動學習。
監督學習：
標註資料表示輸入輸出之間的對應關係，**模型給定的輸入產生相應的輸出；監督學習的本質是，學習輸入到輸出之間的對映的統計規律。
利用訓練資料集學習乙個模型，再用模型對測試樣本集進行**得到**值。由於訓練資料集往往是人工給出的，也就是y，所以稱為監督學習。
當乙個孩子逐漸認識事物的時候，父母給他一些蘋果和橘子(目標值y)，並且告訴他蘋果是什麼樣的，有哪兒些特徵(特徵值x)，橘子是什麼樣的，有哪兒些特徵(特徵值)。經過父母的不斷介紹，這個孩子已經知道蘋果和橘子的區別，如果孩子在看到蘋果和橘子的時候給出錯誤的判斷，父母就會指出錯誤的原因（人工干預），經過不斷地學習，再見到蘋果和橘子的時候，孩子立即就可以做出正確的判斷
在學習過程中，不僅提供事物的具體特徵，同時也提供每個事物的名稱。
也可以這樣理解：監督學習是從給定的訓練資料集中「學習」出乙個函式，當新的資料到來時，可以根據這個函式**結果。監督學習的訓練集要求包括輸入和輸出，即特徵和目標。訓練集中的目標是由人類事先進行標註的。
分類問題：
監督學習從資料中學習乙個分類模型或分類決策模型，稱為分類器。分類器對新的輸入進行輸出的**，稱為分類。
學習和分類兩個過程。
評價分類器效能指標一般是分類準確率：分類器正確分類的樣本數與總樣本數之比。
二類分類問題評價指標
精確率：針對**結果而言，表示的是**為正的樣本中有多少是真正的正樣本。那麼**為正就有兩種可能了，一種就是把正類**為正類(tp)，另一種就是把負類**為正類(fp)。
召回率：針對原本的樣本而言，表示的是原本樣本中的正例有多少被正確**了。一種是把原來的正類**成正類(tp)，另一種就是把原來的正類**為負類(fn)。
標註問題：
輸入是觀測序列，輸出是標記序列，自然語言處理中的詞性標註（part of speech tagging）就是乙個典型的標註問題：給定乙個由單詞組成的句子，對這個句子中的每乙個單詞進行詞性標註，即對乙個單詞序列**其對應的詞性標記序列。
回歸問題：
分類是關於**標籤，而回歸是關於**數量。用於**輸入變數與輸出變數之間的關係問題，特別是當輸入變數發生變化時，輸出變數的值隨之發生的變化。回歸模型正表示輸入變數與輸出變數之間的對映的函式。
具體的，將影響股價的資訊看作自變數（輸入的特徵），而將股價看作因變數（輸出的值），將過去的資料作為訓練資料就可以學習乙個回歸模型，並對未來的股價進行**。
無監督問題
無標註資料是自然得到的資料，**模型表示資料的類別、轉換或者概率。模型可以實現對資料的聚類、降維或概率估計。本質是學習資料中的統計規律或潛在結構。
在學習的過程中，只提供事物的具體特徵(特徵值)，但不提供事物的名稱(目標值)，讓學習者自己總結歸納。所以非監督學習又稱為歸納性學習（clustering），是指將資料集合分成由類似的物件組成的多個簇（或組）的過程。當然，在機器學習的過程中，人類只提供每個樣本（蘋果和橘子）的特徵，使用這些資料，通過演算法讓機器學習，進行自我歸納，以達到同組內的事物特徵非常接近，不同組的事物特徵相距很遠的結果。
無監督學習裡典型的例子就是聚類了。聚類的目的在於把相似的東西聚在一起，而我們並不關心這一類是什麼。因此，乙個聚類演算法通常只需要知道如何計算相似度就可以開始工作了。
強化學習：
機器只能通過動作來影響環境，當機器執行乙個動作後，會使得環境按某種概率轉移到另乙個狀態；同時，環境會根據潛在的獎賞函式反饋給機器乙個獎賞。綜合而言，強化學習主要包含四個要素：狀態、動作、轉移概率以及獎賞函式。
其實，強化學習就是通過不斷與環境互動，利用環境給出的獎懲來不斷的改進策略（即在什麼狀態下採取什麼動作），以求獲得最大的累積獎懲。
在上述問題中，獎就是喝奶，懲就是打屁屁，在摔倒狀態下，是選擇哭還是爬起來，不同的動作會有不同的獎懲；初始的策略是哭和爬起來都有可能。但根據獎懲，小屁孩學到了摔倒之後爬起來是乙個更好的策略，因此之後都會選擇這個策略，這樣就可以最大化累積獎懲—喝很多很多奶。
貝葉斯學習：
主要思想是利用貝葉斯定理，計算模型的後驗概率，並應用這個原理進行模型的估計，以及對資料的**。貝葉斯估計和極大似然估計在思想上有很大的不同，代表著統計學中貝葉斯學派和頻率學派對統計的不同認識。假設先驗分布為均勻分布，取後驗概率最大。
核方法：
定義從低維空間到高維空間的對映，核方法的技巧在於，不顯式的定義這個對映，而是通過內積的形式定義核函式。
統計學習方法三要素：
生成方法由資料學習聯合概率分布，然後求出條件概率分布，作為**模型，即生成模型。模型表示了給定輸入x產生輸出y的生成關係。
判別方法由資料直接學習決策函式或者條件概率分布作為**模型，即判別模型。
關心的是對給定的輸入x，應該**什麼樣的輸出y。
學習的目標：選擇期望風險最小的模型。
監督學習問題：是在假設空間f中選取模型f作為決策函式，對於給定的輸入x,由f(x)給出相應的輸出y,這個輸入的**值f(x)與真實值可能一致也可能不一致。用損失函式來度量。
對於分類學習演算法，我們一般將樣本集分為訓練集和測試集，其中訓練集用於演算法模型的學習或訓練，而測試集通常用於評估訓練好的模型對於資料的**效能評估。而這個先後順序就是先將演算法在訓練集上訓練得到乙個模型，然後在測試集上評估效能。
李航統計學習方法 第一章
本系列主要涉及李航統計學習方法一書 各大牛部落格和簡單例項，前面主要理論講解，大多是書本知識 由於數學基礎知識忘得比較快，可能好多講得不準確的地方，望各位指出 若文中有涉及各位版權的，請指出，本人會及時處理。第一章將的是一些理論上的東西，沒有演算法，沒有太多公式推導 主要涉及 1 什麼是監督學習 例...
統計學習方法 第一章
1.統計學習的特點 2.統計學習的物件 對資料的基本假設 同類資料具有一定的統計規律性 3.統計學習的目的 4.統計學習方法 1.基本概念 x x 1,x 2,x i x n t x i x i 1 x i 2 x in t t x 1 y 1 x 2 y 2 x n y n 2.聯合概率分布 3....
統計學習方法第一章
1.numpy.poly1d 1,2,3 import numpy as np np.poly1d 1 2,3 poly1d 1 2,3 r np.poly1d 1 2,3 print r 1 62.from scipy.optimize import leastsq 表示scipy.optimiz...