引數估計與非引數估計

2021-07-02 06:25:03 字數 1586 閱讀 5096

引數估計(parameter estimation)

:根據從

總體中抽取的

樣本估計總體分布中包含的未知引數的方法。人們常常需要根據手中的資料,分析或推斷資料反映的本質規律。即根據樣本資料如何選擇統計量去推斷總體的分布或數字特徵等。統計推斷是數理統計研究的核心問題。所謂統計推斷是指根據樣本對總體分布或分布的數字特徵等作出合理的推斷。它是

統計推斷

的一種基本形式,是

數理統計學

的乙個重要分支,分為

點估計和區間估計兩部分。

非引數估計:

已知樣本所屬的類別,但未知總體概率密度函式的形式,要求我們直接推斷概率密度函式本身。統計學中常見的一些典型分布形式不總是能夠擬合實際中的分布。此外,在許多實際問題中經常遇到多峰分布的情況,這就迫使我們必須用樣本來推斷總體分布,常見的總體類條件概率密度估計方法有parzen窗法和kn近鄰法兩種。

非引數估計也有人將其稱之為無參密度估計,它是一種對先驗知識要求最少,完全依靠訓練資料進行估計,而且可以用於任意形狀密度估計的方法。常見的非引數估計方法有以下幾種:

度曲線的光滑程度,k越大越光滑。

概率密度函式估計:

非引數估計和引數估計(監督引數估計和非監督引數估計)共同構成了概率密度估計方法。

在貝葉斯分類(這裡有個簡介: )器設計之中,需要在類的先驗概率和類條件概率密度均已知的情況下,按照一定的決策規則確定判別函式和決策面。但是,在實際應用中,類條件概率密度通常是未知的。那麼,當先驗概率和類條件概率密度都未知或者其中之一未知的情況下,該如何來進行類別判斷呢?其實,只要我們能收集到一定數量的樣本,根據統計學的知識,我們是可以從樣本集來推斷總體概率分布的。一般來說,有以下幾種方法可以解決這個問題:

一、監督引數估計:樣本所屬的類別及類條件總體概率密度函式的形式為已知,而表徵概率密度函式的某些引數是未知的。例如,只知道樣本所屬總體分布形式為正態分佈,而正態分佈的引數

二、非監督引數估計:已知總體概率密度函式形式但未知樣本所屬的類別,要求推斷出概率密度函式的某些引數,這種推斷方法稱之為非監督情況下的引數估計。 這裡提到的監督引數估計和非監督引數估計中的監督和非監督是指樣本所屬類別是已知還是未知。但無論哪種情況下的引數估計都是統計學中的經典問題,解決的方法很多。但最常用的有兩種:一種是最大似然估計方法;另一種是貝葉斯估計方法。雖然兩者在結果上通常是近似的,但從概念上來說它們的處理方法是完全不同的。最大似然估計把引數看做是確定(非隨機)而未知的,最好的估計值是在獲得實際觀察樣本的概率為最大的條件下得到的。而貝葉斯估計則是把引數當做具有某種分布的隨機變數,樣本的觀察結果使先驗分布轉換為後驗分布,再根據後驗分布修正原先對引數的估計。

三、非引數估計:已知樣本所屬的類別,但未知總體概率密度函式的形式,要求我們直接推斷概率密度函式本身。統計學中常見的一些典型分布形式不總是能夠擬合實際中的分布。此外,在許多實際問題中經常遇到多峰分布的情況,這就迫使我們必須用樣本來推斷總體分布,常見的總體類條件概率密度估計方法有parzen窗法和kn近鄰法兩種。

引數估計與非引數估計

背景知識 概率密度,直觀的理解就是在某乙個區間內,事件發生的次數的多少的問題,比如n 0,1 高斯分布,就是取值在0的很小的區間的概率很高,至少比其他等寬的小區間要高。引數估計要求明確引數服從什麼分布,明確模型的具體形式,然後給出引數的估計值。根據從總體中抽取的樣本估計總體分布中包含的未知引數。非引...

引數估計 引數估計

1 引數估計 用樣本統計量去估計總體的引數。2 估計量 用於估計總體引數的統計量的名稱 如樣本均值,樣本比例,樣本方差等 例如 樣本均值就是總體均值 3 引數用 4 估計值 估計引數時計算出來的統計量的具體值 如果樣本均值 5 點估計 例如 用樣本均值直接作為總體均值的估計乙個點估計量的可靠性是由它...

引數估計 CIR模型的引數估計

cox ingersoll ross cir 模型是量化金融風控中,特別是在利率和信用風險的期限結構模型中經常用到的一種模型。與其他模型如ho lee,vasicek等相比,它的特點是其解總是非負的 如果滿足feller條件則以概率為1為正 並且滿足均值回歸性質。cir 的基本形式是如下的sde 其...