情感分析 文字句內的「機械壓縮」去重

2021-10-03 05:04:05 字數 1920 閱讀 7772

目錄

1、原理說明

2、「單字詞」句內去重

3、「雙字詞」句內去重

4、「三字詞」句內去重

5、將上述情況,封裝成函式("三字詞"以上句內去重)

1、原理說明

1)為什麼要進行資料的句內去重?

2)以「單字詞」為例,進行原理說明

3)原理說明

2、「單字詞」句內去重

st =

"我很是好好好好好好呀"

for j in

range

(len

(st)):

if st[j:j+1]

== st[j+

1:j+2]

: k = j +

1while st[k:k+1]

== st[k+

1:k+2]

and k<

len(st)

:# kk = k +

1 st = st[

:j]+ st[k:

]

st

3、「雙字詞」句內去重

st =

"今天天氣天氣天氣天氣好哦"

for j in

range

(len

(st)):

if st[j:j+2]

== st[j+

2:j+4]

: k = j +

2while st[k:k+2]

== st[k+

2:k+4]

and k<

len(st)

:

k = k +

2 st = st[

:j]+ st[k:

]

st

4、「三字詞」句內去重

st =

"我天氣好天氣好天氣好哈"

for j in

range

(len

(st)):

if st[j:j+3]

== st[j+

3:j+6]

: k = j +

3while st[k:k+3]

== st[k+

3:k+6]

and k<

len(st)

:

k = k +

3 st = st[

:j]+ st[k:

]

st

5、將上述情況,封裝成函式

def

func

(st)

:for i in

range(1

,int

(len

(st)/2

)+1)

:for j in

range

(len

(st)):

if st[j:j+i]

== st[j+i:j+

2*i]

: k = j + i

while st[k:k+i]

== st[k+i:k+

2*i]

and k<

len(st)

:

k = k + i

st = st[

:j]+ st[k:

]return st

st =

"我愛你我愛你我愛你好你好你好哈哈哈哈哈"

func(st)

第12課 完全基於情感詞典的文字情感分析

下面我們通過以下幾點來介紹中文自然語言處理情感分析 中文情感分析方法簡介 基於標註好的情感詞典來計算情感值 pytreebank 繪製情感樹 股吧資料情感分類。情感傾向可認為是主體對某一客體主觀存在的內心喜惡,內在評價的一種傾向。它由兩個方面來衡量 乙個情感傾向方向,乙個是情感傾向度。目前,情感傾向...

用python實現簡單的文字情感分析

情感分析就是分析一句話說得是很主觀還是客觀描述,分析這句話表達的是積極的情緒還是消極的情緒。原理 比如這麼一句話 這手機的畫面極好,操作也比較流暢。不過拍照真的太爛了!系統也不好。情感詞 要分析一句話是積極的還是消極的,最簡單最基礎的方法就是找出句子裡面的情感詞,積極的情感詞比如 贊,好,順手,華麗...

實體詞典 情感詞典 文字情感分析的學習筆記

對文字的觀點 喜好 情感傾向進行分類 1 按情感傾向 極性劃分 比如分為正面 負面 中性情感。2 按情感程度深淺劃分 比如分為熱愛 喜歡 一般 不喜歡 厭惡。3 按情感類別來劃分 比如新聞分類。通過分析研究物件的情感分布,可了解輿情,輔助商業 決策。2.1,文件級 為觀點型文件標記整體的情感傾向 極...