NLTK基礎函式

2021-09-03 02:22:29 字數 1230 閱讀 7276

#from nltk.book import *;   #匯入ntlk包中book中的所有的例子模型

#print(text1);  #輸出book中text1的相關資訊

#text1.concordance("monstrous");    #在text1中找到特定單詞並顯示出上下文

#print("monstrous in text1 similar to");

#text1.similar("monstrous");    #在text1找到用法、意義與該單詞相似的詞

#print();

#print("monstrous in text2 similar to");

#text2.similar("monstrous");    #在text2找到用法、意義與該單詞相似的詞

#print();

#text2.common_contexts(["monstrous", "very"]);    #在text2找到用法、意義與該單詞集合相似的詞

#print();

#print(len(text3));     #顯示text3長度

#print();

#print(sorted(set(text3)));     #篩選出text3中所有單詞和字元(不重複)並按照字母順序排序

#print(len(set(text3)));     #測定text3中出現的單詞和字元數(不重複)

'''from __future__ import  division;

from nltk.book import text3;

a = 1.0 * len(text3) / len(set(text3));

print(a);

'''from __future__ import  division;

from nltk.book import *;

def lexical_diversity(text):

return len(text) / len(set(text));      #建立函式測算某個文字中所有單詞出現的平均次數

def percentage(count, total):

return 100 * count / total;     #建立函式測算某個單詞在某個文字中所佔的百分比

print(lexical_diversity(text3));

print(percentage(text4.count("a"), len(text4)));

NLTK簡單入門函式小彙總

說明 本文 均來自 natural language processing with python 1.concordance 搜尋某個特定詞語在文章 現的位置,並顯示上下文 2.similar 搜尋文章中與目標用法 意義相似的詞 3.common contexts 這個函式和similar有點類似...

NLTK基礎教程學習筆記(九)

不同的解析器型別 解析器通常需要對乙個用於表達一組語法規則的輸入字串繼續處理,然後構成乙個或者多個可用於構成某種語法概念的規則。語法是我們衡量乙個句子是否良好的乙份規範說明,而解析器則是乙個用於解讀語法的程式。該程式會通過搜尋各種不同的樹結構空間,找出給定句子的最佳樹結構,下面是一些解析器的運用細節...

NLTK基礎教程學習筆記(五)

import nltk from nltk import word tokenize s i was watching tv print nltk.pos tag word tokenize s 結果 i prp was vbd watching vbg tv nn 中先將文字進行表示化處理,再呼叫...