前言
前一篇講到了引數估計， 其中會涉及到特徵維數問題，類別間有差異的特徵有助於分類，而特徵太多又會造成計算和儲存的困難，並且還會造成overfitting導致泛化效能不高。通常會新增正則化或進行特徵降維或進行引數共享/平滑來防止過擬合。本章討論的是在樣本點的某些特徵丟失的情況下如何進行分類的問題。
em（expectation-maximization）演算法
隱馬爾科夫模型(hmm)是關於時序的概率模型，描述由乙個隱藏的馬爾科夫鏈隨機生成不可觀測的狀態隨機序列，再由各個狀態生成乙個觀測而產生隨機序列的過程，隱藏的馬爾科夫鏈隨機生成的狀態的序列，稱為狀態序列；每個狀態生成乙個觀測，而由此產生的觀測的隨機序列，稱為觀測序列，序列的每乙個位置又可以看成是乙個時刻。hmm由初始狀態概率向量
π π
，狀態轉移概率矩陣a和觀測概率矩陣b決定。
π π
和a決定狀態序列，b決定觀測序列。因此，隱馬爾科夫模型
λ λ
可以用三元組來表示：λ=
（a,b
,π） λ=（
a,b,
π）。hmm有三個基本問題：
（1）概率計算問題(估計問題，evaluation)：給定模型λ=
(a,b
,π) λ=(
a,b,
π)和觀測序列o=
(o1,
o2,.
..,on)o
=(o1
,o2,
...,
on),計算在模型
λ λ
下觀測序列o出現的概率p(
o|λ)p(
o|λ)
。（前向演算法和後向演算法）
（2）學習問題：已知觀測序列o=
(o1,
o2,.
..,on)o
=(o1
,o2,
...,
on),估計模型λ=
(a,b
,π) λ=(
a,b,
π)，使得在該模型下觀測序列概率p(
o|λ)p(
o|λ)
最大。（根據訓練資料是包括觀測序列和對應的狀態序列還是只有觀測序列，可以分別由監督學習與非監督學習實現。監督學習方法即使用極大似然估計法來估計hmm的引數，而非監督學習方法即baum-welch演算法，也就是em演算法的前身）。
（3）**問題，也稱為解碼問題：已知模型λ=
(a,b
,π) λ=(
a,b,
π)和觀測序列o=
(o1,
o2,.
..,on)o
=(o1
,o2,
...,
on),求對給定觀測序列條件概率p(i|o)最大的狀態序列i=
(i1,
i2,.
..,it)i
=(i1
,i2,
...,
it)，即給定觀測序列，求最有可能的對應的狀態序列。（維特比演算法求解；對於標註問題，其與條件隨機場(crf)也有密切的關聯，後面的文章會一併提到）。
引數估計 CIR模型的引數估計
cox ingersoll ross cir 模型是量化金融風控中，特別是在利率和信用風險的期限結構模型中經常用到的一種模型。與其他模型如ho lee,vasicek等相比，它的特點是其解總是非負的 如果滿足feller條件則以概率為1為正 並且滿足均值回歸性質。cir 的基本形式是如下的sde 其...
資料科學 引數估計
點估計 用樣本統計量 的某個取值直接作為總體引數的 的估計值 矩估計法 即矩估計，也稱 矩法估計 就是利用樣本矩來估計總體中相應的引數 如 用樣本平均值估計總體的平均值，用樣本的方差來估計總體的方差 區間估計 在點估計的基礎上，給出總體引數估計的乙個區間範圍，該範圍通常由樣本統計量加減估計誤差得到。...
引數估計 狀態估計的基本概念（1）引數估計問題
如果乙個系統的引數隨時間而改變，那麼稱它為 時變的引數 如果系統的引數不隨時間而改變，那麼稱它為 時不變的引數 對引數 其中 是第 次觀測量，是第 次觀測雜訊量 我們要找到乙個關於 次觀測 的函式 在某種意義下作為 對 的統計量。我們稱這個函式 為 的 估計量 estimator 函式值被稱為 的估...