生活有懶散，而我仍拖懶~
day 4
監督學習方法可以分為：生成方法與判別方法，與此對應生成模型與判別模型。
生成方法即由資料學習聯合概率分布（p（x，y）），再由概率條件分布（p（y|x））作為**的模型，即是生成模型：
之所以命名為生成方法，是因為模型給出了輸入x產生輸出y的生成關係。典型的生成模型有：樸素貝葉斯法及隱性馬爾科夫模型。
判別方法由資料直接學習決策函式f（x）或者條件概率分布p（y|x）作為**的模型，即判別模型，其關心的主要是給定特定的輸入x，應該**什麼樣的輸出y。典型的判別模型包括：k近鄰法，感知機，決策樹，邏輯斯特回歸模型，最大熵模型，支援向量機，提公升方法以及條件隨機場等。
區別：生成方法可以還原聯合概率分布p（x，y），收斂速度快，可以應用於存在隱變數的情況下。
判別方法學習準確率高，可以對資料進行各種程度上的抽象、定義特徵並使用特徵，簡化學習問題。
當監督學習中輸出變數取離散的值時，**問題便成為分類問題，這時，輸入變數x可以為離散的，也可以為連續的，監督學習從資料當中學習乙個分類模型或者分類決策函式，成為分類器，分類器對新的輸入進行輸出的**，稱為分類，可能的輸出稱為類，分類的類別為多個時，稱為多類分類問題。
分類分為：學習和分類兩大過程。
process：在學習的過程中，利用學習方法學習乙個分類器，在分類過程中，利用分類器對新的輸入資料進行分類。
評價分類器的指標一般是分類準確率，其定義是：對於給定是資料，其分類正確率與總資料之比。
對於二類問題，其評價指標為：準確率與召回率。以關注的類為正類，其他類為負類。
統計學習方法（機器學習） 1 統計學習方法概要
泛化能力 生成模型與判別模型 監督學習的三類問題 正則化是結構風險最小化策略的實現，是在經驗風險上加乙個正則化項或懲罰項。正則化項一般是模型複雜度的單調遞增函式，模型越複雜，正則化值越大。正則化的一般形式 這裡的第一項是經驗風險，第二項是正則化項。第一項經驗風險較小的模型可能比較複雜 有多個非0引數...
機器學習 統計學習方法概論
統計學習由監督學習 supervised learning 非監督學習 unsupervised learning 半監督學習 semi supervised learning 和強化學習 reinforcement learning 組成。統計學習方法包括模型的假設空間 模型的選擇準則以及模型學習...
統計學習方法 機器學習概論
統計學習，或者說機器學習的方法主要由監督學習 無監督學習和強化學習組成 它們是並列的，都屬於統計學習方法 1 假設資料獨立同分布。同資料來源的不同樣本之間相互獨立 2 假設要學習的模型屬於某個函式的集合，稱為假設空間。你確定了這個函式的樣式，就是假設空間，但是函式裡面的引數不確定，要學習。學習的是引...