自動機理論：
1：有限自動機，有限自動機又分為確定性有限自動機（definite automata, dfa）和不確定性有限自動機（non-definite automata, nfa）兩種。
其中，σ是輸入符號的有窮集合；q是狀態的有限集合；q0∈q是初始狀態；f是終止狀態集合，f⊆q；δ是q與σ的直積（就是笛卡兒積）q×σ到q（下乙個狀態）的對映，它支配著有限狀態控制的行為，有時也稱為狀態轉移函式。圖3-3是dfa的原理示意圖。其含義是：處在狀態q∈q中的有限控制器從左到右依次從輸入帶上讀入字元。開始時有限控制器處在狀態q0，輸入頭指向σ
*中乙個鏈的最左符號。對映δ（q，a）＝q′（q，q′∈q,a∈σ）表示在狀態q時，若輸入符號為a，則自動機m進入狀態q′並且將
輸入頭向右移動乙個字元。如果乙個句子x對於有限自動機m有
δ（q0，x）＝p, p∈f，那麼，稱句子x被m接受。被m接受的句子的全集如果乙個句子x對於有限自動機m有
δ（q0，x）＝p, p∈f，那麼，稱句子x被m接受。被m接受的句子的全集如果乙個句子x對於有限自動機m有
δ（q0，x）＝p, p∈f，那麼，稱句子x被m接受。被m接受的句子的全集如果
如果乙個句子x對於有限自動機m有δ（q0，x）＝p, p∈f，那麼，稱句子x被m接受。被m接受的句子的全集稱為由m定義的語言，或稱m所接受的語言，記作t（m）：
狀態轉換圖的構造方法為：每個狀態作為乙個結點，用圓圈表示。如果處在狀態q並接受輸入符號a∈σ時的dfa轉移到q′狀態，那麼，畫一條有向弧從狀態q到達狀態q′，其標記為a。終止狀態用雙圈表示，開始狀態用帶「開始（start）」說明的箭頭標出。
（不確定的有限自動機） nfa m是乙個五元組：m＝（σ,q,δ,q0，f）其中，σ是輸入符號的有窮集合；q是狀態的有限集合；q0∈q是初始狀態；f是終止狀態集合，f⊆q；δ是q與σ的直積q×σ到q的冪集2q的對映。
nfa與dfa的重要區別是：在nfa中δ（q, a）是乙個狀態集合，而在dfa中δ（q, a）是乙個狀態。根據定義，對於nfa m有對映：δ（q, a）＝，k≥1其含義是：nfa m在狀態q時，接受輸入符號a時，m可以選擇狀態集q1，q2，…，qk中的任何乙個狀態作為下乙個狀態，並將輸入頭向右邊移動乙個字元的位置。
（nfa接受的語言） 如果存在乙個狀態p，有p∈δ（q0，x）且p∈f，則稱句子x被nfa m所接受。被nfa m接受的所有句子的集合稱為nfa m定義的語言，記作t（m）：
定理3-1設l是被nfa所接受的語言，則存在乙個dfa，它能夠接受l。
正則文法與自動機的關係
若g＝（vn，vt，p，s）是乙個正則文法，則存在乙個fa m＝（σ，q，δ,q0，f），使得t（m）＝l（g）。
根據這個定理，可以用以下方法由給定的正則文法g＝（vn，vt，p，s）構造fa m。具體步驟如下：
（1）令σ＝vt，q＝vn∪，q0＝s，其中t是乙個新增加的非終
結符；（2）如果在p中有產生式s→ε，則f＝，否則f＝；
（3）如果在p中有產生式b→a，b∈vn，a∈vt，則t∈δ（b,
a）；（4）如果在p中有產生式b→ac，b，c∈vn，a∈vt，則c∈δ（b,
a）；（5）對於每乙個a∈vt，有δ（t, a）＝∅。
若m＝（σ，q，δ,q0，f）是乙個有限自動機，則存在乙個正則文法g＝（vn，vt，p，s），使得l（g）＝t（m）。由fa m構造g的一般步驟為：
（1）令vn＝q，vt＝σ，s＝q0；
（2）如果c∈δ（b, a），b，c∈q, a∈σ，則在p中有產生式b→ac；
（3）如果c∈δ（b, a），c∈f，則在p中有產生式b→a。
根據上面介紹的三個定理可以得到乙個重要結論：對於任意乙個正則文法所產生的語言，總可以構造乙個確定的有限自動機識別
它。也就是說，對於任意乙個正則文法，總可以構造乙個確定的有限自動機。
統計自然語言處理書籍閱讀心得四
1 困惑度 我們通常用困惑度 perplexity 來代替交叉熵 衡量語言模型的好壞。同樣，語言模型設計的任務就是尋找困惑度最小的模型，使其最接 近真實語言的情況。在自然語言處理中，我們所說的語言模型的困惑度 通常是指語言模型對於測試資料的困惑度。一般情況下將所有資料分成 兩部分，一部分作為訓練資料...
統計自然語言處理 自然語言處理是什麼？
自然語言是指中文 英語 西班牙語 法語 德語等等語言，作為人們日常使用的其他語言，它們對人類的交流有著重要作用。自然語言是隨著人類社會的發展而自然產生的語言，而不是由人類所特意創造的語言。自然語言是人們日常學習生活的重要工具和媒介，如果人類失去交流的能力，文明就失去了意義。總的來說，自然語言就是指人...
自然語言處理入門心得 書籍 課程推薦
mit 的 natural language processing stanford 的cs224n natural language processing stanford 的 cs224d deep learning for natural language processing 講述深度學習在...