《統計學習方法》中的6.1.3 模型引數估計一節中講到在邏輯斯諦回歸模型學習時，可以應用極大似然估計法估計模型引數，從而得到邏輯斯諦回歸模型。
那麼問題來了，如何應用極大似然估計法估計模型引數呢？
為了搞清楚這個問題，首先要知道似然函式是什麼？這裡維基百科給出的描述如下：
總結起來就是：已知有事件a發生（即6.13節中給定的訓練資料集t），運用似然函式l(b|a)估計引數b。通常做法是使用極大似然估計，即對似然函式求極值點，該極值點就是我們所求引數。（我的理解是當使用某個特定的似然函式，估計引數b時也可能使用』』極小似然估計『『，雖然好像沒這個說法，不過思想是一樣的）
6.13節的似然函式含義為資料樣本點屬於其真實標記的概率之積，極大似然估計就是根據給定的訓練資料集t（即維基百科裡事件a的發生）估計引數w，使得資料樣本屬於其真實標記的概率最大。
統計學習方法筆記1 統計學習方法概論
統計學習是關於計算機基於資料構建概率統計模型並運用模型對資料進行 與分析的一門學科。從資料出發，提取資料的特徵，抽象出資料的模型，發現資料中的知識，又回到對資料的分析與 中去。統計學習關於資料的基本假設是同類資料具有一定的統計規律性，這是統計學習的前提。這裡的同類資料是指具有某種共同性質的資料，例如...
統計學習方法筆記
1.損失函式 期望，就是均值 極大似然估計 似然就是概率 可能性，所以也是極大可能性估計 對數損失是用於最大似然估計的。一組引數在一堆資料下的似然值，等於每一條資料的概率之積。而損失函式一般是每條資料的損失之和，為了把積變為和，就取了對數 再加個負號是為了讓 最大似然值和 最小損失對應起來 w 是w...
統計學習方法 樹模型
樹模型 上思維導圖來自知乎 夕小瑤 決策樹演算法主要包括決策樹的生成與剪枝。決策樹可以從兩個方面解釋 決策樹學習的本質是從訓練資料集中歸納出一組分類規則，也可以看做是對特徵空間劃分類的條件概率分布。首先，按照根據統計學習三要素來分析決策樹學習的過程 假設空間 對特徵空間進行劃分所有可能的決策樹 損失...