機器學習總結 三 矩估計

鑑於後續機器學習課程中多次提到引數估計的概念，為了避免囫圇吞棗的理解某些知識點，決定對概率統計的這部分知識點進行簡要總結，這篇部落格主要涉及的是點估計中的矩估計知識點，後續的部落格將總結點估計中其他兩個比較常見的方式，極大似然估計以及最小二乘法。

因為在統計學中，所要觀測的資料量往往都比較大，我們不可能將所有資料全部都進行統計，一種可行的方式就是從這些資料量中抽取一部分資料，這時候便用到了估計的知識，用抽取出來的樣本的情況來估計總體的情況。

引數估計指的是根據從總體中抽取出來的樣本來估計總體分布中包含的未知引數的方法，分為點估計和區間估計兩種。

依據從總體中抽取出來的樣本來估計總體分布中的未知引數，點估計具體分為：矩估計、極大似然估計(mle)以及最小二乘法。

依據抽取出來的樣本，根據一定的準確度和精確度要求，構造適當的區間作為對總體分布中的未知引數的真值所在範圍的估計，比如人們常說的百分之多少把某個資料控制在某個範圍內就是區間估計最通俗的表述。

矩估計的理論依據就是基於大數定律的，大數定律語言化的表述為：當總體的k階矩存在時，樣本的k階矩依概率收斂於總體的k階矩，即當抽取的樣本數量n充分大的時候，樣本矩將約等於總體矩。

詳情見附加筆記第(1)點

詳情見附加筆記第(2)點

矩估計的原理總結來講為：令總體矩的k階矩分別等於樣本的k階矩即可，至於到底會涉及到k是多大就要看你要估計的總體中包含幾個未知引數了，包含幾個k就應該是幾。

通俗的講，為什麼k階樣本矩分別等於k階總體矩就能算出總體的引數，原因在於，樣本中的期望和方差是我們可以直觀計算出來的常數，而總體的期望和方差是帶有未知引數的，兩者分別相等能夠聯立出等式計算出未知引數。

詳情見附加筆記第(3)點

詳情見附加筆記第(4)點

優點：在不清楚總體分布具體屬於什麼分布的情況下，只需要根據均值和方差進行估計即可。

缺點：如果在總體分布已知的情況下，並不能很好的使用對應分布型別的資訊，因為矩估計根本就不看重總體分布到底屬於那種型別。

這樣做的目的純粹是為了保證能夠無偏估計引數

用樣本統計量來估計總體引數時的一種無偏判斷，如果估計量的數學期望等於被估引數的真實值，則稱此估計量為被估引數的無偏估計。

詳情見附加筆記第(5)點

機器學習總結 三 SVM

svm是一種二分類模型，是一種在特徵空間中尋找間隔最大化的分離超平面的線性分類器。利用間隔最大化求得的最優分離超平面是唯一的。分離超平面產生的分類結果是最魯棒的，泛化能力最強。採用其他策略可能得到的分類面有無數個，無法判斷哪乙個最優 函式間隔 樣本點到超平面的函式間隔為y w x b 可以用來表示分...

機器學習之引數估計

引數估計 parameter estimate 就是通過一系列演算法，來求出模型的最優引數。在各個機器學習深度學習的框架裡，都變成了optimizer的活了。其實這個名字很奇怪，但是在比較早的機器學習 裡都是這麼叫的，我們重點來關注下裡面涉及的一些演算法。這裡主要關注的是 二乘是平方的意思，感覺最小...

機器學習之極大似然估計

極大似然估計是在總體型別已知的條件下使用的一種引數估計方法。首先是德國數學家高斯在1821年提出的，然而這個方法常歸功於英國統計學家費歇。極大似然法的基本思想通過乙個例子說明 乙個獵人和乙個二逼外出打獵，乙隻野兔從前方竄過，一聲槍響，野兔應聲倒下。如果要你推測，是誰打中的？你會如何想？選擇乙個引數使...