NLP自然語言處理 文字分類之評價指標

2021-10-02 01:29:32 字數 984 閱讀 6857

準確率關注整體效果,只適合均衡的資料。準確率公式如下:

a cc

urac

y=預測

正確的樣

本數總樣

本數

accuracy=\frac

accura

cy=總

樣本數預

測正確的

樣本數​

資料不均衡時使用以下的評價指標。

精確率關注模型**得準不准。精確率公式如下:

p re

cisi

on=預

測正確的

樣本數預

測出來的

樣本

數precision=\frac

precis

ion=

**出來

的樣本數

**正確

的樣本數

​ 召回率關注模型**得全不全。召回率公式如下:

r ec

all=

預測正確

的樣本數

標註的樣

本數

recall=\frac

recall

=標註的

樣本數預

測正確的

樣本數​

f1是乙個綜合評價指標,同時考慮了精確率(precision)與召回率(recall)。f1的公式如下:

f 1=

2pre

cisi

on×r

ecal

lpre

cisi

on+r

ecal

lf1=\frac

f1=pre

cisi

on+r

ecal

l2pr

ecis

ion×

reca

ll​

分別計算每類標籤的評價指標,然後作算術平均。

1、latex公式-katex解析

統計自然語言處理 文字分類

文字表示有向量空間模型,片語表示法,概念表示法 目前文字通常採用向量空間模型表示 向量空間模型 vsm 給定乙個文件d t1,w1 t2,w2 tn,wn d符合以下兩條約定 1 各個特徵項tk 1 k n 互異 即沒有重複 2 各個特徵項tk無先後順序關係 即不考慮文件的內部結構 在以上兩個約定下...

自然語言處理 搭建文字分類器

乙個完整的文字分類器主要由兩個階段,一是將文字向量化,將乙個字串轉化成向量形式 二是將向量喂到分類器,包括svm,cnn,lstm等等。這邊做的專案其實階段用的是 tf idf 來進行文字向量化,使用卡方校驗 chi square 來降低向量維度,使用liblinear 採用線性核的svm 來進行分...

NLP自然語言處理

第1部分自然語言處理入門 1.1自然語言處理入門.mp4 第2部分hmm和crf 1.1crf模型簡介.mp4 1.1hmm模型介紹.mp4 1.2文字處理的基本方法 part1.mp4 2.1新聞主題分類任務 第4步 part2.mp4 第43部分rnn 1.1rnn模型小結.mp4 1.1rnn...