1、含義
表示乙個句子出現的概率，即乙個句子中每個單詞出現的概率。概率越高，表示越有可能構成乙個句子。
2、原理
對聯合概率鏈公式，利用馬爾可夫鏈進行簡化。馬爾可夫鏈假設認為，每個詞會依賴前面1個或多個詞。最簡單的時unigram,bigram,複雜點的trigram。
聯合概率鏈公式：
p(x1,x2…xn) = p(x1)p(x2|x1)p(x3|x1,x2)p(x4|x1,x2,x3)…p(xn)p(x1,x2…xn-1)
2-gram:
p(x1,x2…xn) = p(x1)p(x2|x1)p(x3|x2)p(x4|x3)p(x5|x4)…p(xn|xn-1)
3、如何選區n-gram中的n
4、n-gram的應用
5、n-gram優缺點：
優點：可以表示單詞與幾個單詞之間的聯絡
缺點：缺乏長程的依賴性（eg.上下文直接）；缺乏可靠性（eg.wi-1與wi相鄰，p（wi-1|wi）=n(wi-1,wi)同時在文字**現的次數/n(wi)在文字**現的次數)，如果n(wi-1,nwi)=0,是否意味p（wi-1|wi）=0？如果n(wi-1,wi)）與n(wi)出現次數相等，是否認為p（wi-1|wi）=1？
==>在數理統計中，之所以敢用取樣資料進行觀測的結果來**概率，是因為有大數定理支援。要求有足夠多的觀測值。（現實中，漢語詞彙量20萬數量級，訓練三元模型就有200000^3種引數，但訓練資料可能只有10的13次.）
6、解決零概率問題採用的方式。平滑技術
（1）拉普拉斯平滑（加1平滑）
（2）古德-圖靈估計（認為沒看見的時間，不能認為發生概率為0；將看到的概率調小一點。一般是對出現次數小於某一閾值的詞下調頻率，然後把下調得到的頻率綜合給未出現的詞）
（3）卡茨退避法
（4）線性插值
7、統計語言模型：
訓練語言模型的意義在於解決統計樣本不足時的概率估計問題。
（1）前饋神經網路fflm（用前n-1各詞，預估第n各詞）
前饋神經網路，包嵌入層、全連線層、輸出層
（2）rnn語言模型
n gram 語言模型 筆記整理
語言模型 某句子的概率可理解為 p s p w1,w2,wn 該聯合概率分布就是語言模型 語言模型就是用來計算乙個句子的概率的模型 克服詞袋沒考慮詞序的問題 場景 馬爾可夫假設 先將聯合概率分布拆分成條件概率的連乘 貝葉斯定理 p x 1,x 2,x n p x 1 p x 1 p x 2 x 1 ...
模型語言 介面模型語言
介面模型可以分為三個層次 意圖 功能層，表現抽象層，表現實現層 意圖 功能層 職責 表達了介面的意圖，即這個 或若干個 頁面完成什麼意圖，在完成這個意圖的過程中，最終得出 頁面與頁面之間的關係，包括流向和資料的傳遞 每個頁面中，做什麼事，其中涉及哪些概念，概念之間的關係，以及概念相關的操作 表現抽象...
R語言筆記之樹模型
本文 於 北美資料科學家的私房課 分類樹 離散型結果的樹 回歸樹 連續型結果的樹 點，根節點，葉節點，節點的度，樹的度，修剪，樹枝 子樹 親節點和子節點。本人烏鴉之作，大家了解分類過程就好，大夥稍安勿躁 其中長相 根節點 點 年齡和經濟狀況 點，小鮮肉所在的那些節點是終節點 葉子節點 長相節點的度為...