NLP學習筆記 一

2021-09-26 23:32:35 字數 728 閱讀 1084

可瀏覽

從研究現狀來看,自然語言理解和處理的理論體系尚未真正建立,技術方法仍然十分初步,所以對於什麼是nlp沒有乙個標準的定義,此下幾點為本人收集的關於nlp的概念界定

wiki中的定義:自然語言處理(英語:natural language processing,縮寫作 nlp)是人工智慧和語言學領域的分支學科。此領域**如何處理及運用自然語言;自然語言處理包括多方面和步驟,基本有認知、理解、生成等部分。

馮志偉學者在2023年出版的《自然語言的計算機處理》中曾經提到:自然語言處理就是利用計算機為工具對人類特有的書面形式和口頭形式的語言進行各種型別處理和加工技術。但該定義比較籠統。

美國計算機科學家馬納瑞斯在《從人-機互動的角度看自然語言處理》一文中給出nlp的定義:自然語言處理可以定義為研究在人與人交際中以及在人與計算機交際中的語言問題的一門學科。自然語言處理要研製表示語言能力和語言應用的模型,建立計算機框架來實現這樣的語言模型,提出相應的方法來不斷完善這樣的語言模型,根據這樣的語言模型設計各種實用的系統,並**這些實用系統的測評技術。

目前主流研究方式分為兩個學派:其一是基於規則的理性主義,另一是基於統計的經驗主義。但是目前大多學者認為基於統計的經驗主義更能達到研究目的

基於規則的理性主義的優缺點優點

缺點基於統計的經驗主義優缺點優點

缺點

NLP學習筆記 nlp入門介紹

為什麼計算機難以理解人類的自然語言呢?主要是下面6個特性 詞彙量在自然語言中含有很豐富的詞彙,而程式語言中能使用的關鍵字數量是有限的 結構化自然語言是非結構化的,而程式語言是結構化的,例如類和成員。自然語言是線性字串,要分析它,需要用到分詞 命名實體識別 指代消解和關係抽取等。歧義性我們說話含有大量...

NLP學習筆記1 2

開始學習nlp的第乙個模組jieba import nltk setence hello,world token nltk.word tokenize setence list token hello world import jieba 模糊模式 seg list list jieba.cut 2...

NLP學習筆記17 機器學習

本文屬於貪心nlp學習筆記系列。從本節課開始進入機器學習的章節。之前的兩個分支之一 基於概率的系統 probabilistic 主要是學習出資料與標籤之間的對映關係。定義 自動從已有的資料裡找出一規律,然後把學到的這些規律應用到對未來資料 future data 的 中,或者在不確定環境下自動地做一...