nlp(natural language processing,自然語言處理)是電腦科學領域以及人工智慧領域的乙個重要的研究方向,它研究用計算機來處理、理解以及運用人類語言(如中文、英文等),達到人與計算機之間進行有效通訊。
萌芽期(2023年以前) -> 快速發展期(1980-1999) -> 突飛猛進期(2000至今)
萌芽期:這一時期,雖然諸如貝葉斯方法、隱馬爾可夫、最大熵、支援向量機等經典理論和演算法也有提出,但自然語言處理領域的主流仍然是基於規則的理性主義方法。
快速發展期:基於統計、基於例項和基於規則的語料庫技術在這一時期開始蓬勃發展,各種技術開始融合。
突飛猛進期:深度學習在機器翻譯、問答系統等多個自然語言處理任務中均取得了不錯的成果,相關技術也被成功應用於商業化平台中。
中文維基百科:
搜狗新聞語料庫:
imdb情感分析語料庫:
第一層面:詞法分析
第二層面:句法分析
第三層面:語義分析
NLP學習筆記 nlp入門介紹
為什麼計算機難以理解人類的自然語言呢?主要是下面6個特性 詞彙量在自然語言中含有很豐富的詞彙,而程式語言中能使用的關鍵字數量是有限的 結構化自然語言是非結構化的,而程式語言是結構化的,例如類和成員。自然語言是線性字串,要分析它,需要用到分詞 命名實體識別 指代消解和關係抽取等。歧義性我們說話含有大量...
讀書筆記 開篇
時隔三個月,忽然想起了自己還有乙個部落格。最近煩惱頗多,工作生活皆有,主要原因還是自己不成熟,需要學習的東西太多。本想讓自己堅持寫技術部落格,後來由於諸多原因耽誤下來。後來想想,就算不寫技術部落格,也還是堅持下來吧。因為由於各種原因,感覺時間都被別的東西所擠占,或是自己迷失在一些莫名其妙的地方。我想...
python學習筆記開篇
對一年多學習用的python基礎語法進行乙個階段性的總結回顧,開始由初識進入深入理解,參考書籍包括 python cookbook 和 fluent python 具體暫時分為如下章節 python基礎資料結構和型別 python常用函式包 執行緒,程序,協程等 python常用第三方庫,包括資料分...