NLP 基礎知識 006 機器學習

2021-10-01 07:06:02 字數 583 閱讀 2874

自動從已有的資料裡找出一些規律,然後把學到的這些規律應用到對未來資料的**中,或者在不確定環境下自動地做一些決策

監督模型

非監督模型

生成模型

樸素貝葉斯(***** bayes)

hmm、lda、gmm

判別模型

邏輯回歸(logistic regression)

crf---------

監督學習: 有標籤

例如語料:

sentence label

這個鍵盤不好用 負面

這個女孩很漂亮 正面

監督學習演算法主要包括:

線性回歸

邏輯回歸

樸素貝葉斯

神經網路

svm隨機森林

adaboost

cnn....

無監督學習: 沒有標籤

無監督學習演算法主要包括:

k-means

pcaica

mflsa

lda....

NLP學習路徑(一) NLP基礎知識

1 基本術語 1 分詞 分詞常用手段 基於字典的最長串匹配,但歧義分詞很難。比如 美國 會 通過法案。美 國會 通過法案。2 詞性標註 詞性 動詞 名詞 形容詞等 目的 表徵詞的一種隱藏狀態,隱藏狀態構成的轉移就構成了狀態轉移序列。比如 我 r愛 v中國 ns。其中,ns代表名詞,v是動詞,ns,v...

NLP基礎知識

1 聲學識別模型 將從麥克風收集來的聲音,進行一些訊號處理,將語音頻號轉化到頻域,從每10毫秒的語音中提出乙個特徵向量,提供給後面的聲學模型。聲學模型負責把音訊分類成不同的音素。接下來就是解碼器,可以得出概率最高一串詞串,最後一步是後處理,就是把單詞組合成容易讀取的文字。2 pomdp框架 3 ap...

NLP基礎知識

英文用nltk,中文用jieba,比較難處理的時候可能要借助正規表示式 2 derivation引申 影響詞性 walking walk walked walk went歸一成go are歸一成be 比如原本是are are,is is 標註後are v be,is v be 比如中文的 的,地,得...