高斯概率密度函式（正態分佈曲線）
正態分佈（normal distribution）又名高斯分布（gaussian distribution），是乙個在數學、物理及工程等領域都非常重要的概率分布，在統計學的許多方面有著重大的影響力。若隨機變數x服從乙個數學期望為μ、方差為σ^2的高斯分布，記為n(μ，σ^2)。其概率密度函式為正態分佈的期望值μ決定了其位置，其標準差σ決定了分布的幅度。因其曲線呈鐘形，因此人們又經常稱之為鐘形曲線。我們通常所說的標準正態分佈是μ = 0,σ = 1的正態分佈。
若 隨機變數
服從乙個位置引數為
、尺度引數為
的概率分布，且其
概率密度函式為
exp:高等數學裡的以e為底的指數函式。
則這個隨機變數就稱為
正態隨機變數，正態隨機變數服從的分布就稱為
正態分佈，記作
，讀作
服從 ，或
服從正態分佈。
當 時，正態分佈就成為
標準正態分佈
高斯模型就是用高斯概率密度函式（正態分佈曲線）精確地量化事物，將乙個事物分解為若干的基於高斯概率密度函式（正態分佈曲線）形成的模型。 對影象背景建立高斯模型的原理及過程：影象灰度直方圖反映的是影象中某個灰度值出現的頻次，也可以以為是影象灰度概率密度的估計。如果影象所包含的目標區域和背景區域相差比較大，且背景區域和目標區域在灰度上有一定的差異，那麼該影象的灰度直方圖呈現雙峰-谷形狀，其中乙個峰對應於目標，另乙個峰對應於背景的中心灰度。對於複雜的影象，尤其是醫學影象，一般是多峰的。通過將直方圖的多峰特性看作是多個高斯分布的疊加，可以解決影象的分割問題。 在智慧型監控系統中，對於運動目標的檢測是中心內容，而在運動目標檢測提取中，背景目標對於目標的識別和跟蹤至關重要。而建模正是背景目標提取的乙個重要環節。
混合高斯模型使用k（基本為3到5個） 個高斯模型來表徵影象中各個畫素點的特徵,在新一幀影象獲得後更新混合高斯模型,用當前影象中的每個畫素點與混合高斯模型匹配,如果成功則判定該點為背景點, 否則為前景點。通觀整個高斯模型，他主要是有方差和均值兩個引數決定，,對均值和方差的學習,採取不同的學習機制,將直接影響到模型的穩定性、精確性和收斂性。由於我們是對運動目標的背景提取建模，因此需要對高斯模型中方差和均值兩個引數實時更新。為提高模型的學習能力,改進方法對均值和方差的更新採用不同的學習率;為提高在繁忙的場景下,大而慢的運動目標的檢測效果,引入權值均值的概念,建立背景影象並實時更新,然後結合權值、權值均值和背景影象對畫素點進行前景和背景的分類。具體更新公式如下：
μt= (1 - ρ)μt- 1 +ρxt (1)
σ2t = (1 - ρ)σ2t- 1 +ρ( xt -μt ) t ( xt -μt ) (2)
ρ =αη( xt | μκ,σκ ) (3)
| xt -μt - 1 | ≤ 2. 5σt- 1 (4)
w k , t = (1 - α) w k , t - 1 +αmk , t (5)
式中ρ為學習率，即反映當前影象融入背景的速率。
建模過程中，我們需要對混合高斯模型中的方差、均值、權值等一些引數初始化，並通過這些引數求出建模所需的資料，如馬茲距離。在初始化過程中，一般我們將方差設定的盡量大些（如15），而權值則盡量小些（如0.001）。 這樣設定是由於初始化的高斯模型是乙個並不準確，可能的模型，我們需要不停的縮小他的範圍，更新他的引數值，從而得到最可能的高斯模型，將方差設定大些，就是為了將盡可能多的畫素包含到乙個模型裡面，從而獲得最有可能的模型。部分**如下：
for(i=0; i
同時這時又產生了乙個疑問，那麼如何得知我們的模型是否超過預定義的模型數了呢？這便是我們設定權值的其中乙個原因了。根據大量的試驗，我們得出當前面幾個模型數的權值之和在t值（一般設為0.75）之內時，效果最好，因此當我們將前面的模型權值相加，當超過0.75時便捨去後面的模型。當然其中還有乙個重要的問題，我們是如何得知前面的模型是相對來說最有可能的模型，而非被捨去的模型呢？在這裡我們首先要對各個模型的權值進行排序，按照權值與方差的比率的從大到小，對模型進行排序。由於一開始建立的模型肯定是不可靠的，在最後基本會被捨棄，因此我們在初始化的時候將初始模型的方差盡量大，而權值盡量小，從而使最不可能的模型排在比較後面。 到這裡為止，混合高斯模型的建模基本完成，我在歸納一下其中的流程，首先初始化預先定義的幾個高斯模型，對高斯模型中的引數進行初始化，並求出之後將要用到的引數。其次，對於每一幀中的每乙個畫素進行處理，看其是否匹配某個模型，若匹配，則將其歸入該模型中，並對該模型根據新的畫素值進行更新，若不匹配，則以該畫素建立乙個高斯模型，初始化引數，**原有模型中最不可能的模型。最後選擇前面幾個最有可能的模型作為背景模型，為背景目標提取做鋪墊。
最大似然估計，高斯分布，高斯混合模型，EM演算法
1 最大似然估計 似然的概念與概率類似，但是又很不相同。假如隨機變數x服從某種分布 比如高斯分布 概率是指在給定引數 均值，方差 的條件下，x x的可能性 而似然則指x x的條件下，某一組引數反映了x x的真實性大小。最常見的應用是最大似然估計。假設有n個資料點，服從某種分布pr x 我們想找到一組...
高斯分布模型引數求解
問題 有 n 個資料，現假設這 n 個資料滿足高斯分布 n mu,sigma 求解該高斯分布。解 資料滿足高斯分布，即 f x frac sigma e 然後我們建立最大似然函式 l prod n frac sigma e 然後我們要求解高斯分布實際上就是使得該最大似然函式取得最大值的過程。求解使該...
認識高斯分布
今天，我要介紹我們早就知道的一種分布，它叫做高斯分布。高斯分布在概率論中算是比較核心的一種分布了，而在機器學習中，高斯分布也隨處可見，比如單高斯模型，高斯混合模型，高斯過程等等，它們都是基於高斯分布的。作為理解連續性隨機變數的基礎和深入理解在機器學習中的廣泛應用，高斯分布是十分有必要學習的。高斯分布...