安裝:pip install spacy
國內源安裝:pip install spacy -i
import spacy
nlp = spacy.load(
'en'
)doc = nlp(u'this is a sentence.'
)
1.tokenize功能for token in doc:
print
(token)
thisisa
sentence
.
2.詞幹化(lemmatize)for token in doc:
print
(token, token.lemma_, token.lemma)
this this 1995909169258310477
is be 10382539506755952630
a a 11901859001352538922
sentence sentence 18108853898452662235
. . 12646065887601541794
3.詞性標註(pos tagging)for token in doc:
print
(token, token.pos_, token.pos)
this det 89
is verb 99
a det 89
sentence noun 91
. punct 96
4.命名實體識別(ner)for entity in doc.ents:
print
(entity, entity.label_, entity.label)
5.名詞短語提取for nounc in doc.noun_chunks:
print
(nounc)
a sentence
歡迎關注【ai小白入門】,這裡分享python、機器學習、深度學習、自然語言處理、人工智慧等技術,關注前沿技術,求職經驗等,陪有夢想的你一起成長。 自然語言處理基礎技術工具篇之Jieba
沒想到堅持學習以及寫作總結已經超過半個月了,謝謝大家的關注 點讚 收藏 前面談了nlp的基礎技術,我始終覺得,入門學習一件事情最好的方式就是實踐,加之現在python如此好用,有越來越多的不錯nlp的python庫,所以接下來的一段時間裡,讓我們一起來感受一下這些不錯的工具。我均使用jupyter編...
自然語言處理基礎技術工具篇之TextBlob
安裝 pip install textblob 配置國內源安裝 pip install textblob i 參考 from textblob import textblobtext i love natural language processing i am not like fish blob...
自然語言處理基礎技術工具篇之Flair
flair簡介 flair是最近開源的乙個基於pytorch的nlp框架,據官方github介紹,它具有以下特點 乙個功能強大的nlp庫。flair允許您將最先進的自然語言處理 nlp 模型應用於您的文字,例如命名實體識別 ner 詞性標註 pos 意義消歧和分類。文字嵌入庫。flair具有簡單的介...