NLP 揭秘馬爾可夫模型神秘面紗系列文章（一）

2023年7月10日20:34:20

摘要：最早接觸馬爾可夫模型的定義源於吳軍先生《數學之美》一書，起初覺得深奧難懂且無什麼用場。直到學習自然語言處理時，才真正使用到隱馬爾可夫模型，並體會到此模型的妙用之處。馬爾可夫模型在處理序列分類時具體強大的功能，諸如解決：詞類標註、語音識別、句子切分、字素音位轉換、區域性句法剖析、語塊分析、命名實體識別、資訊抽取等。另外廣泛應用於自然科學、工程技術、生物科技、公用事業、通道編碼等多個領域。本文寫作思路如下：第一篇對馬爾可夫個人簡介和馬爾科夫鏈的介紹；第二篇介紹馬爾可夫鏈（顯馬爾可夫模型）和隱馬爾可夫模型以及隱馬爾可夫模型的三大問題（似然度、編碼、引數學習）；第三至五篇逐一介紹三大問題相關演算法：（向前演算法、維特比演算法、向前向後演算法）；最後非常得益於馮志偉先生自然語言處理教程一書，馮老研究自然語言幾十餘載，在此領域別有建樹。

（：初識馬爾可夫和馬爾可夫鏈

)

【自然語言處理：馬爾可夫模型（五）】：向前向後演算法解決隱馬爾可夫模型機器學習問題

安德烈·馬爾可夫，俄羅斯人，物理-數學博士，聖彼得堡科學院院士，彼得堡數學學派的代表人物，以數論和概率論方面的工作著稱，他的主要著作有《概率演算》等。2023年，榮獲金質獎章，2023年被授予功勳教授稱號。馬爾可夫是彼得堡數學學派的代表人物。以數論和概率論方面的工作著稱。他的主要著作有《概率演算》等。在數論方面，他研究了連分數和二次不定式理論 ，解決了許多難題 。在概率論中，他發展了矩陣法，擴大了大數律和中心極限定理的應用範圍。馬爾可夫最重要的工作是在1906～2023年間，提出並研究了一種能用數學分析方法研究自然過程的一般圖式——馬爾可夫鏈。同時開創了對一種無後效性的隨機過程——馬爾可夫過程的研究。馬爾可夫經多次觀察試驗發現，乙個系統的狀態轉換過程中第n次轉換獲得的狀態常取決於前一次（第（n-1）次）試驗的結果。馬爾可夫進行深入研究後指出：對於乙個系統，由乙個狀態轉至另乙個狀態的轉換過程中，存在著轉移概率，並且這種轉移概率可以依據其緊接的前一種狀態推算出來，與該系統的原始狀態和此次轉移前的馬爾可夫過程無關。馬爾可夫鏈理論與方法在現代已經被廣泛應用於自然科學、工程技術和公用事業中。

序列分類器：序列分類器或序列標號器是給序列中的某個單元指派類或者標號的模型。馬爾可夫模型（又叫顯馬爾可夫模型vmm）和隱馬爾可夫模型（hmm）都是序列分類器。諸如：詞類標註、語音識別、句子切分、字素音位轉換、區域性句法剖析、語塊分析、命名實體識別、資訊抽取都屬於序列分類。

【隨機過程的兩層含義】

（1）    隨機過程是乙個時間函式，其隨著時間變化而變化

（2）    隨機過程的每個時刻上函式值是不確定的、隨機的，即每個時刻上函式值按照一定的概率進行分布。

獨立鏈：隨機過程中各個語言符合或者詞是獨立的，不相互影響，則稱這種鏈是獨立鏈。反之，各語言詞或者符號彼此有關則是非獨立鏈。

等概率獨立鏈與非等概率獨立鏈：在獨立鏈中，各個語言符合或者詞是等概率出現的是等概率獨立鏈，各個語言詞或者語言符號是非等概率出現的則為非等概率鏈。

【馬爾可夫鏈】

馬爾可夫過程：在獨立鏈中，前面語言符號對後面的語言符號無影響，是無記憶沒有後效的隨機過程，在已知當前狀態下，過程的未來狀態與它的過去狀態無關，這種形式就是馬爾可夫過程。

馬爾可夫鏈：在隨機過程中，每個語言符號的出現概率不相互獨立，每個隨機試驗的當前狀態依賴於此前狀態，這種鏈就是馬爾可夫鏈。

鏈的解析：也可以當做一種觀察序列，諸如：「2023年是建黨95周年」，就可以看著乙個字串鏈。其中如上字串中每個字元出現是隨機的，其他如果每個字出現是獨立的就是獨立鏈，如果每個字元出現有前面字元相關，即不獨立具有依賴性則為馬爾科夫鏈。

n元馬爾科夫鏈：

考慮前乙個語言符號對後乙個語言符號出現概率的影響，這樣得出的語言成分的鏈叫做一重馬爾可夫鏈，也是二元語法。

考慮前兩個語言符號對後乙個語言符號出現概率的影響，這樣得出的語言成分的鏈叫做二重馬爾可夫鏈，也是三元語法。

考慮前三個語言符號對後乙個語言符號出現概率的影響，這樣得出的語言成分的鏈叫做三重馬爾可夫鏈，也是四元語法。

類似的，考慮前（4,5，….,n-1）個語言符號對後乙個語言符號出現概率的影響，這樣得出的語言成分的鏈叫做（4,5，….,n-1）重馬爾可夫鏈，也是（5，6，….,n）元語法。

馬爾科夫鏈在數學上描述了自然語言句子的生成過程，是乙個早期的自然語言形式的模型，後來n元語法的研究，都是建立在馬爾科夫模型的基礎上，馬爾科夫鏈也就是顯性的馬爾科夫模型，馬爾科夫鏈和隱馬爾科夫模型都是有限自動機（狀態集合狀態之間的轉移集）的擴充。

加權有限狀態機：加權有限狀態機中每個弧與乙個概率有關，這個概率說明通過這個弧的可能性，且某乙個點出發的弧具有歸一化的性質，即某點出發的弧概率之和為1。

注意：馬爾科夫鏈不能表示固有歧義的問題，當概率指派給沒有歧義時，馬爾科夫鏈才有用。

（1）    具有初始狀態和終結狀態的馬爾科夫鏈描述如下：

（2）    沒有初始狀態和終結狀態的馬爾科夫鏈描述如下：

在乙個一階馬爾可夫鏈中，我們假設乙個特定的概率只與它前面乙個狀態有關，馬爾可夫假設可以表示如下：

從乙個狀態i出發的所有弧的概率之和為1，即：

無初始狀態和終結狀態下，天氣事件（1）hot hot hot hot 和（2）cold hot cold hot的馬爾科夫鏈的序列概率：

如上概率差別告訴我們用馬爾科夫鏈編碼實現世界天氣事實是什麼？天氣事件的概率可以直接觀察到。

統計自然語言處理基礎  christopher.manning等 著    宛春法等 譯

自然語言處理簡明教程  馮志偉 著

數學之美  吳軍 著

viterbi演算法分析文章  王亞強

宣告

NLP 揭秘馬爾可夫模型神秘面紗系列文章（二）

安德烈 馬爾可夫，俄羅斯人，物理 數學博士，聖彼得堡科學院院士，彼得堡數學學派的代表人物，以數論和概率論方面的工作著稱，他的主要著作有 概率演算 等。1878年，榮獲金質獎章，1905年被授予功勳教授稱號。馬爾可夫是彼得堡數學學派的代表人物。以數論和概率論方面的工作著稱。他的主要著作有 概率演算 等...

NLP 揭秘馬爾可夫模型神秘面紗系列文章（二）

2016年7月11日15 31 11 摘要 最早接觸馬爾可夫模型的定義源於吳軍先生 數學之美 一書，起初覺得深奧難懂且無什麼用場。直到學習自然語言處理時，才真正使用到隱馬爾可夫模型，並體會到此模型的妙用之處。馬爾可夫模型在處理序列分類時具體強大的功能，諸如解決 詞類標註 語音識別 句子切分 字素音位...

NLP 揭秘馬爾可夫模型神秘面紗系列文章（二）

2016年7月11日15 31 11 摘要 最早接觸馬爾可夫模型的定義源於吳軍先生 數學之美 一書，起初覺得深奧難懂且無什麼用場。直到學習自然語言處理時，才真正使用到隱馬爾可夫模型，並體會到此模型的妙用之處。馬爾可夫模型在處理序列分類時具體強大的功能，諸如解決 詞類標註 語音識別 句子切分 字素音位...