模式分類筆記 高斯函式

2021-08-29 15:32:50 字數 2972 閱讀 4149

一點題外內容:假設檢驗方法的用處在於讓我們知道在觀測到目前樣本的情況下,除了初始假設之外,是否還有更加可能的某種其它原因。

零假設就是乙個隨機判定規則- 即選擇乙個樣本,就根據某個先驗概率p把它歸為乙個類別,如果一種候選規則同隨機判定規則有顯著差別,就說它是有用的。

空間的線性變換—例如平移(移動原點),旋轉,反射,拉伸 ,壓縮 ,或者這些的組合;還有其它的變換—可以通過它們在向量上的作用來視覺化。

------------------------------

提及高斯函式,不得不提及其產生於的隨機誤差理論。

隨機誤差的概念最先有伽利略在《關於兩個主要世界系統的對話》中提出,在他的設想裡,誤差分布函式f(x)滿足關於y軸對稱,且隨|x|的增加而遞減。在勒讓德的理論中,通常的算術平均值是方程組的未知數為乙個時的特例,但這只是代數意義上的算術平均值的優良性,後來辛普森((thomas simpso)在《在應用天文學中取若干觀測平均值的好處》中第一次從概率的角度嚴格證明算術平均的優良性(當時只是基於一種簡單的誤差分布假設)。

拉普拉斯直接考慮誤差理論的基本問題,取怎樣的分布為誤差分布,以及在確定誤差分布後,如何根據未知量的測量結果來估計其值。拉普拉斯給出與伽利略的隨機誤差相似的誤差分布條件。

1. f(x) = f(-x), x是誤差值

2. x->無窮,f(x)->0

3. f(x)的全定義域積分等於1

有很多函式滿足這三條性質,為確定其一,他做了如下推理,條件2表明,曲線f(x)隨著x(x>0)的增加越來越平緩,因而其下降率 -f'(x)也應隨x的增加而下降,設-f『(x) = mf(x), x>=0,m>0且為常數,可解得f(x) = ce^-mx由f(x) = -f(x), f(x) = ce^mx,x<0.再由f(x)積分=1,得c=m/2,f(x)=m/2*e^-m|x|.

拉普拉斯在得到誤差密度函式後,就希望去通過能利用這個函式去估計真值。但是在當時的數學發展情況,我們現在熟知的點估計方法,矩法估計和似然估計都沒有,拉普拉斯在他的「不充分推理」原則的基礎上,得到是十分複雜的方程,不可能有實際的應用價值,他自己也認識到那個問題。

高斯在研究誤差理論的時候,以及其簡短的手法,推導出了正態分佈密度函式:

假設x的誤差分布函式為f(x)

l(x) = l(x; x1,x2...xn)= f(x1-x)f(x2-x)..f(xn-x)

這個過程中,高斯有兩點創新:

1。 不採取貝葉斯式的推理方法,而是把使上式達到最大值的x = x(x1, x2,..xn)作為 x 的估計。

2。把問題倒過來,先承認算術平均是x應取的估計,然後再去找f(x)迎合這一點,即使算術平均是那個使上式子達到最大值。(算術平均是乙個經歷千百年考驗的方法,故此乙個一般方法如果是合理的,他應該在重複測量的情況下匯出算術平均,因為最小二乘法具有這一特性,使我們對其合理性增添了信心,哈哈。高斯在研究測量誤差的時候順便也匯出了最小二乘法)

對上式l(x)兩邊求對數,記 x 為算術平均。

記g(x) = f'(x)/f(x), 當我們取n = 2時,那麼x應滿足g(x1 - x ) + g(x2 - x ) = 0, 因為x1 - x = x - x2 , 所以g(-x) = - g(x), g(0) = 0.

現在令n=m+1,而

x1 = x2 =... xm= -x;

xm+1 = mx; 則

x= 0, g(mx) = mg(x). 假定g連續,不難推出g(x) = cx.因為g'(mx) = g'(x). 接下來顯然g『(x)=c .後面不難解得f(x)=me^cx^2,f(x)積分為1, c便為一負數,記c為-1/h^2.正態分佈的形式就不難求解了。

----------在20091104又發現上面記號裡有些許錯誤,修正及修改銜接描述

這裡可以看作必要性 的推導,雖然不知道高斯是不是這樣推導的(根本搜不到相應的資料,要麼可能有用的就是收費的,跑了上海書城一趟有用的東西也沒翻到,都知道的東西你寫本書我也寫本書。還有人發表的文章上用的記號都似不對的,看得我鬱悶了乙個星期,直讓我懷疑,是我太笨還是這東西太神秘)。

其實正態分佈函式並不是首先**高斯,只是首先被高斯用於誤差分析領域,才慢慢發揮出巨大的作用,e這個東西在數學上很奇妙哈,我想這與三角函式,無窮級數,尤拉等等的研究的很有關係。

順藤摸瓜的看了不少東西,到後來卻發現沒什麼好寫的 。順便再說點,為什麼高斯函式的曲線叫鐘形曲線,首先有人研究命名了鐘形曲面,記得外國的教堂的鐘和旅館裡的服務台上的小鈴鐺吧,後來才有鐘形曲線。

-------------------------------

兩個高斯函式的卷積仍然是乙個高斯函式,也就是說兩個正態隨機變數的和(z=x+y)還是服從正態分佈。卷積是其中乙個函式翻轉並平移後與另乙個函式的乘積對於平移量的積分。

卷積最初為研究訊號的零狀態響應而來,有人說相關和卷積很像,的確,但他們又是兩個完全不同的概念。相關最早是用來概率論中描述隨機變數之間關係的概念,如相關係數。實際上訊號一般是乙個隨機過程,為了實現訊號的檢測、識別與提取,經常要了解兩個訊號的相似性,或乙個訊號經過一段延遲後自身的相似性。但相關係數有缺陷,因為分子是兩個訊號的內積,如sinx和cosx,從波形上看只是相位不同,而相關係數為零(因為正弦和余弦正交),因此引進相關函式,將原來兩函式直接內積改為乙個函式和另乙個函式的延遲作內積,所以和卷積公式很像,但其中每個量的物理意義是不同的。

卷積如果再拓展一下:卷積的結果定義了乙個新函式,這點在核函式裡有充分體現,由卷積得到的函式f*g 一般要比f 和g 都光滑。特別當g 為具有緊緻集(對應的空間稠密)的光滑函式,f 為區域性可積時,它們的卷積f * g 也是光滑函式。利用這一性質,對於任意的可積函式f,都可以簡單地構造出一列逼近於fs,這種方法稱為函式的光滑化或正則化。卷積的概念還可以推廣到數列、測度(為了積分推廣)以及廣義函式上去。

-------------------added at 2009-03-31

服從多元正態分佈的資料樣本趨向於聚集在均值向量周圍,形成乙個以協方差矩陣的各本徵向量為主軸的橢球形雲團。二元的分布密度函式對應於代數裡的二次型,因為它還是正態分佈,所以它是乙個「饅頭山」,只有乙個峰。這樣研究極值就有意義了。

python高斯核函式運用 高斯核函式

在計算機視覺中,有時也簡稱為高斯函式。高斯函式具有五個重要的性質,這些性質使得它在早期影象處理中特別有用.這些性質表明,高斯平滑濾波器無論在空間域還是在頻率域都是十分有效的低通濾波器,且在實際影象處理中得到了工程人員的有效使用.高斯函式具有五個十分重要的性質,它們是 1 二維高斯函式具有旋轉對稱性,...

高斯函式解析

高斯函式廣泛應用於統計學領域,用於表述正態分佈,在訊號處理領域,用於定義高斯濾波器,在影象處理領域,二維高斯核函式常用於高斯模糊,在數學領域,主要用於解決熱力方程和擴散方程。正態分佈與高斯函式 高斯函式其實是一族函式,而滿足正態分佈的高斯函式如下所示 其為正態分佈 隨機變數 的概率密度函式,滿足積分...

高斯核函式

參考鏈結 高斯卷積運算元 def getgausskernel sigma,h,w 構建高斯矩陣,得到中心點位置 gaussmatrix np.zeros h,w np.float32 ch h 1 2 cw w 1 2 for r in range h for c in range w norm2...