本次學習是根據貪心科技的李文哲老師的語言模型課程所整理的相關筆記，並加上自己的理解。內容包括
語言模型的介紹
chain rule 以及馬爾可夫假設
unigram, bigram, ngram
估計語言模型的概率
評估語言模型 - perplexity
add-one 平滑，add-k平滑
interpolation平滑
語言模型（language model, lm）
chain rule（鏈式法則）
markov assumption（馬爾可夫假設）
訓練和使用語言模型
使用 unigram
bigram
n-gram
評估語言模型 perplexity
smoothing平滑
add-k平滑
interpolation平滑
核心思路：計算trigram概率時，同時考慮unigram, bigram, trigram出現的頻次，即三種語言模型的加權平均
p(wi|wi-2, wi-1) = λ
\lambda
λ1p(wi|wi-2, wi-1) + λ
\lambda
λ2p(wi|wi-1) + λ
\lambda
λ3p(wi)
其中：λ
這篇基於史丹福大學的nlp入門筆記也不錯：
總結：基於以上方法的改進也有很多，但也不是說某個改進一定時最好的，需要我們在實踐中，選擇最適合的方法和模型。
NLP基礎筆記4 語言模型
首先放一張基於language model的nlp主要模型演算法梳理框圖。nlp語言模型可分為傳統語言模型與神經語言模型。簡言之，語言模型就是給句子 詞序列 分配乙個概率。這個概率表示這句話 合理程度 舉個例子 你兒子在我手上，快點把打過來。prob 0.80 這樣乙個句子，非常 通順 就得到乙個很...
NLP（四） 語言模型
這是一系列自然語言處理的介紹，本文不會涉及公式推導，主要是一些演算法思想的隨筆記錄。適用人群 自然語言處理初學者，轉ai的開發人員。程式語言 python 參考書籍 數學之美 參考教程 機器讀心術之自然語言處理 對於像漢語，英語這樣的大型自然語言系統，難以構造精確的文法 不符合人類學習語言的習慣 有...
NLP 2 語言模型
馬爾科夫假設 markov assumption 乙個詞出現的概率僅依賴於它前面的乙個或幾個詞。一元語言模型 unigram 即樸素貝葉斯假設。三元語言模型 trigram 考慮乙個詞對前兩個詞的依賴關係。關於給句子加開始符與結束符的問題 加開始符應該相應地加上結束符，至於為什麼，現在還不是很理解。...