監督學習：
從標註資料中學習**模型的機器學習問題。
無監督學習：
是指從無標註的資料中學習**模型的機器學習問題。無標註資料是自然得到的資料，**模型表示資料的類別、轉換或概率。無監督學習的本質是學習資料中的統計規律或潛在結構。
強化學習:
是指智慧型系統在於環境的連續互動中學習最優行為策略的機器學習問題。
半監督學習：
是指利用標註資料和未標註資料學習**模型的機器學習問題。通常由少量標註資料、大量未標註資料。
主動學習：
是指機器不斷主動給出例項讓教師進行標註，然後利用標註資料學習**模型的機器學習問題。通常監督學習使用給定的標註資料，往往是隨機得到的，可以看作是「被動學習」，主動學習的目標是找出對學習最有幫助的例項讓教師標註，以較小的標註代價達到好的學習效果。
批量學習：一次接受所有資料，學習模型，然後進行**
貝葉斯學習
核方法使用核函式表示和學習非線性模型的一種機器學習方法。
模型統計學習首要考慮的問題是學習什麼樣的模型。在監督學習過程中，模型就是所要學習的條件概率分布或決策函式。模型的假設空間（hypothesis space）包含所有可能的條件概率分布或決策函式。
策略有了模型的假設空間，統計學習接著需要考慮的是按照什麼樣的準則學習或選擇最優的模型。統計學習的目標在於從假設空間中選取最優模型。
演算法正則化
交叉驗證是指由該方法學習到的模型對未知資料的**能力。
《統計學習方法》筆記一 統計學習方法概論
好久沒有更新部落格了，這次主要想整理一下之前學習過的機器學習和深度學習有關的知識。我本身數學專業基礎比較薄弱，另外主要做計算機視覺應用所以這個系列的文章並不會涉及很多數學理論知識，學習這些機器學習方法也主要是為了找工作而用，主要了解其中的思想和非常基礎的推導過程。一 統計學習的分類 統計學習方法是基...
機器學習（一） 統計學習及監督學習概論
本篇是關於機器學習的開篇之作，這一系列的文章主要是參考李航老師的 統計學習方法 一書，以及兼考慮周志華老師的 機器學習 一書。本篇部落格是該系列的第一篇，主要是關於統計學習一些基本概念中的重難點。無監督學習 從無標註資料中學習 模型的機器學習問題 強化學習 指智慧型系統在與環境的連續互動中學習最有效...
統計學習方法 第一章 統計學習及監督學習 筆記
本章講述監督學習方法。監督學習是從標註資料中學習模型的機器學習問題。統計學習 statistical learning 是關於計算機基於資料構建概率統計模型並運用模型對資料進行 與分析的一門學科。統計學習也稱為統計機器學習 statistical machine learning 主要特點 以計算機...