1.從nltk的book模組載入所有東西
>>>fromnltk.book import *
2.詞語索引檢視。顯示乙個指定單詞的每一次出現，連同上下文一起顯示。
>>>text1.concordance(『monstrous』)
3.通過索引看到monstrous上下文中有the_pictures和the_size,查詢哪些詞出現在相似上下文，可以在被查詢文字名後加similar，然後括號中插入相關詞
>>>text1.similar(『monstrous』)
4.函式common_contexts允許研究兩個或兩個以上的詞共同的上下文，如monstrous和very。使用函式時必須永方括號和圓括號把詞括起來，中間用逗號分開。
>>>text2.common_contexts([『monstrous』,『very』])
5.使用離散圖顯示詞在文字中位置，每一豎線代表乙個單詞，每一行代表整個文字
>>>text4.dispersion_plot([『citizens』,』democracy』,』freedom』.』duties』,』america』])
6.使用函式len獲取文字中出現的詞和標點符號為單位算出的長度
>>>len(text3)
7.set(text3)得到集合，無重複元素
將其按順序列出
>>>sorted(set(text3))
計算其長度
>>>len(set(text3))
8.計算每個詞平均使用次數
>>>len(text3)/len(set(text3))
9.計數乙個詞在文字出現的次數
>>>text3.count(『smote』)
計算乙個特定詞在文字中佔據百分比
>>>100*text4.count(『a』)/len(text4)
10.可以定義函式來避免重複計算
>>>def lexical_diversity(text):
... return len(text)/len(set(text))
>>>def percentage(count,total):
... return 100*count/total
可如下呼叫函式
>>>lexical_diversity(text5)
7.420046158918563
>>>percentage(text4.count('a'),len(text4))
1.4643016433938312
《Python自然語言處理》
python自然語言處理 基本資訊 出版社 人民郵電出版社 isbn 9787115333681 出版日期 2014 年6月 開本 16開 頁碼 508 版次 1 1 所屬分類 計算機 軟體與程式設計 python 更多關於 python自然語言處理 內容簡介 書籍計算機書籍 自然語言處理 natu...
自然語言處理
自然語言處理主要步驟包括 2.詞法分析 對於英文，有詞頭 詞根 詞尾的拆分，名詞 動詞 形容詞 副詞 介詞的定性，多種詞意的選擇。比如diamond，有菱形 棒球場 鑽石3個含義，要根據應用選擇正確的意思。3.語法分析 通過語法樹或其他演算法，分析主語 謂語 賓語 定語 狀語 補語等句子元素。4.語...
自然語言處理
前言 自然語言處理 natural language processing 是計算科學領域與人工智慧領域中的乙個重要方向。它研究能實現人與計算機之間用自然語言進行有效通訊的各種理論和方法。自然語言處理是一門融語言學 電腦科學 數學於一體的科學。因此，這一領域的研究將涉及自然語言，即人們日常使用的語言...