鄙人學習筆記
乙個總體引數的區間估計
兩個總體引數估計
引數估計是推斷統計的重要內容之一。它是在抽樣及抽樣分布的基礎上，根據樣本統計量來推斷所關心的總體引數。
引數估計就是用樣本統計量去估計總體的引數。
在引數估計中，用來估計總體引數的統計量為估計量。
而根據乙個具體的樣本計算出來的估計量的數值稱為估計值。
點估計就是用樣本統計量的某個取值直接作為總體引數的估計值。
區間估計是在點估計的基礎上，給出總體引數估計的乙個區間範圍，該區間通常由樣本統計量加減估計誤差得到。
與點估計不同，進行區間估計時，根據樣本統計量的抽樣分布可以對樣本統計量與總體引數的接近程度給出乙個概率度量。
在區間估計中，由樣本統計量所構造的總體引數的估計區間稱為置信區間。其中區間的最小值稱為置信下限，最大值稱為置信上限。
由於統計學家在某種程度上確信這個區間會包含真正的總體引數，所以給它取名為置信區間。
如果抽取了許多不同的樣本，比如說抽取100個樣本，根據每乙個樣本構造乙個置信區間，這樣，由100個樣木構造的總體引數的100個置信區間中，有95%的區間包含了總體引數的真值，而5%則沒包含，則95%這個值稱為置信水平。
如果將構造置信區間的步驟重複多次，置信區間中包含總體引數真值的次數所佔的比例稱為置信水平，也稱為置信度或置信係數。
注意！ 置信度為95%，並不能誤以為真值落在構造的置信區間的概率為95%。因為總體真值是乙個常數，而不是乙個隨機變數。總體真值要麼落在置信區間內，要麼不在置信區間內，這裡並不涉及概率。
評價估計量的標準
究竟用樣本的哪種估計量作為總體引數的估計呢?自然要用估計效果最好的那種估計量。什麼樣的估計量才算是乙個好的估計量呢?
這就需要一定的評價標準，主要有無偏性、有效性、一致性。
無偏性是指估計量抽樣分布的數學期望等於被估計的總體引數。
無偏和有偏圖示：
乙個無偏的估計量並不意味著它就非常接近被估計的引數，它還必須與總體引數的離散程度比較小。有效性是指對同一總體引數的兩個無偏估計量，有
更小標準差的估計量更有效。
在無偏估計的條件下，估計量的方差越小，估計就越有效。
兩個無偏估計量的抽樣分布：
一致性是指隨著樣本量的增大，估計量的值就越來越接近被估計總體的引數。換言之，乙個大樣本給出的估計量要比乙個小樣本給出的估計量更接近總體的引數。
兩個不同樣本量的樣本統計量的抽樣分布：
統計學學習筆記 （8）估計
誤差幅度 margin of error 我們從樣本統計量估計總體引數時所 的誤差。誤差幅度計算公式為 z n z 是置信水平的臨界z值 置信水平 confidence level 估計的置信水平是指，所有可能樣本的均值落在估計誤差範圍內的百分比。也就是說，我們有一定的百分比來確保真正的樣本引數落在...
《統計學習方法》筆記 6 13模型引數估計
統計學習方法 中的6.1.3 模型引數估計一節中講到在邏輯斯諦回歸模型學習時，可以應用極大似然估計法估計模型引數，從而得到邏輯斯諦回歸模型。那麼問題來了，如何應用極大似然估計法估計模型引數呢？為了搞清楚這個問題，首先要知道似然函式是什麼？這裡維基百科給出的描述如下 總結起來就是 已知有事件a發生 即...
機器學習之引數估計
引數估計 parameter estimate 就是通過一系列演算法，來求出模型的最優引數。在各個機器學習深度學習的框架裡，都變成了optimizer的活了。其實這個名字很奇怪，但是在比較早的機器學習 裡都是這麼叫的，我們重點來關注下裡面涉及的一些演算法。這裡主要關注的是 二乘是平方的意思，感覺最小...