目錄
1、原理說明
2、「單字詞」句內去重
3、「雙字詞」句內去重
4、「三字詞」句內去重
5、將上述情況,封裝成函式("三字詞"以上句內去重)
1、原理說明
1)為什麼要進行資料的句內去重?
2)以「單字詞」為例,進行原理說明
3)原理說明
2、「單字詞」句內去重
st =
"我很是好好好好好好呀"
for j in
range
(len
(st)):
if st[j:j+1]
== st[j+
1:j+2]
: k = j +
1while st[k:k+1]
== st[k+
1:k+2]
and k<
len(st)
:# kk = k +
1 st = st[
:j]+ st[k:
]
st
3、「雙字詞」句內去重
st =
"今天天氣天氣天氣天氣好哦"
for j in
range
(len
(st)):
if st[j:j+2]
== st[j+
2:j+4]
: k = j +
2while st[k:k+2]
== st[k+
2:k+4]
and k<
len(st)
:
k = k +
2 st = st[
:j]+ st[k:
]
st
4、「三字詞」句內去重
st =
"我天氣好天氣好天氣好哈"
for j in
range
(len
(st)):
if st[j:j+3]
== st[j+
3:j+6]
: k = j +
3while st[k:k+3]
== st[k+
3:k+6]
and k<
len(st)
:
k = k +
3 st = st[
:j]+ st[k:
]
st
5、將上述情況,封裝成函式
def
func
(st)
:for i in
range(1
,int
(len
(st)/2
)+1)
:for j in
range
(len
(st)):
if st[j:j+i]
== st[j+i:j+
2*i]
: k = j + i
while st[k:k+i]
== st[k+i:k+
2*i]
and k<
len(st)
:
k = k + i
st = st[
:j]+ st[k:
]return st
st =
"我愛你我愛你我愛你好你好你好哈哈哈哈哈"
func(st)
第12課 完全基於情感詞典的文字情感分析
下面我們通過以下幾點來介紹中文自然語言處理情感分析 中文情感分析方法簡介 基於標註好的情感詞典來計算情感值 pytreebank 繪製情感樹 股吧資料情感分類。情感傾向可認為是主體對某一客體主觀存在的內心喜惡,內在評價的一種傾向。它由兩個方面來衡量 乙個情感傾向方向,乙個是情感傾向度。目前,情感傾向...
用python實現簡單的文字情感分析
情感分析就是分析一句話說得是很主觀還是客觀描述,分析這句話表達的是積極的情緒還是消極的情緒。原理 比如這麼一句話 這手機的畫面極好,操作也比較流暢。不過拍照真的太爛了!系統也不好。情感詞 要分析一句話是積極的還是消極的,最簡單最基礎的方法就是找出句子裡面的情感詞,積極的情感詞比如 贊,好,順手,華麗...
實體詞典 情感詞典 文字情感分析的學習筆記
對文字的觀點 喜好 情感傾向進行分類 1 按情感傾向 極性劃分 比如分為正面 負面 中性情感。2 按情感程度深淺劃分 比如分為熱愛 喜歡 一般 不喜歡 厭惡。3 按情感類別來劃分 比如新聞分類。通過分析研究物件的情感分布,可了解輿情,輔助商業 決策。2.1,文件級 為觀點型文件標記整體的情感傾向 極...