1.2 短語抽取的演算法模型
(1)基於互資訊和左右資訊熵演算法實現短語抽取
(2)lda
(3)textrank
1.3 自動摘要抽取演算法模型
(1)決策樹演算法
(2)邏輯回歸演算法
(3)貝葉斯演算法
1.4 計算任意詞距離演算法模型
(1)fp-growth演算法
(2)n-gram演算法
(3)bp演算法
1.5 拼音漢子混合識別演算法
(1)貝葉斯演算法模型
(2)hmm演算法模型
(3)rnn神經網路模型
nlp基礎演算法
2.1 分詞演算法
(1)dijkstra演算法
該演算法是乙個最短路徑搜尋圖的演算法,演算法本身應用的場景也很多。
(2)ac-doublearraytrie
該演算法結合有限狀態機和雙陣列trie樹兩個資料結構的優勢實現
2.2 詞性標註演算法
(1)最大熵演算法
該演算法是一種不確定資訊最大保留的演算法
(2)crf演算法
該演算法的思想主要**於最大熵模型和隱馬爾科夫模型
2.3 實體識別演算法
(1)馬爾可夫邏輯網演算法
該演算法是馬爾科夫網路的一種延伸,是在馬爾科夫網路的基礎上新增一階邏輯推理的功能。
(2)dipre演算法
2.4 文字**演算法
(1)lstm演算法
lstm演算法是遞迴神經網路的一種,它能實現對歷史資訊的長期記憶。
參考:自然語言處理技術 蘭紅雲
自然語言處理 資訊模型
今天拜讀了數學之美的第一章,例舉的例子感覺真是淺顯易懂,這裡不禁要對吳軍老師的寫作功底拜服,下面談談對資訊模型的理解,數字 文字和語言作為資訊的載體,他們的目的都是記錄和傳播資訊,就像我們的老祖先一樣烏拉烏拉幾句,對方就明白了,你丫的罵我,拿起石頭就扔過去了,其實他們的這種交流可以概括為 資訊1 編...
自然語言處理 序列模型
本文主要寫些關於常見序列模型的一些理解,主要是為了記錄一下,自己對這幾個模型的理解還遠遠不夠。馬爾可夫性是指當前狀態t 只和前一狀態t 1相關 一階 和之前t 2之前的就不相關,這個也算是n gram語言模型吧,都是為了控制模型複雜度 一方面模型過於複雜,資料集不夠會導致模型達不到收斂 另外一方面模...
自然語言處理基礎技術之語義角色標註
今天是總結nlp基礎技術的最後一篇,後面開始工具實戰篇,我覺得實踐對新手小白入門是相當有幫助的 語義角色標註定義 以下以基於成分句法樹的語義角色標註為例,任務的解決思路是以句法樹的成分為單元,判斷其是否擔當給定謂詞的語義角色 conll會議2008 2009 年則對依存分析和語義角色標註聯合任務進行...