hanlp關鍵詞提取演算法TextRank

//長句子 string content = "程式設計師(英文programmer)是從事程式開發、維護的專業人員。" + "一般將程式設計師分為程式設計人員和程式編碼人員，" + "但兩者的界限並不非常清楚，特別是在中國。" + "軟體從業人員分為初級程式設計師、高階程式設計師、系統" + "分析員和專案經理四大類。";

把content 通過乙個的分詞演算法進行分詞，這裡採用的是viterbi演算法也就是hmm演算法，具體請參與我的另篇文章分詞後（當然首先應把停用詞、標點、副詞之類的去除）的結果是：

[程式設計師, 英文, programmer, 從事, 程式, 開發, 維護, 專業, 人員, 程式設計師, 分為, 程式, 設計, 人員, 程式, 編碼, 人員, 界限, 並不, 非常, 清楚, 特別是在, 中國, 軟體, 從業人員, 分為, 程式設計師, 高階, 程式設計師, 系統分析員, 專案經理, 四大]

hanlp的實現**如下：

map> words = new treemap>();
queueque = new linkedlist();
for (string w : wordlist)
// 複雜度o(n-1)
if (que.size() >= 5)
for (string qword : que)
//既然是鄰居,那麼關係是相互的,遍歷一遍即可
words.get(w).add(qword);
words.get(qword).add(w);
}que.offer(w);
}

這個**的功能是為分個詞構造視窗，這個詞前後各四個詞就是這個詞的視窗，如詞分詞後乙個詞出現了多次，像**[程式設計師]**，那就是把每次出現取一次視窗，然後把各次結果合併去重，最後結果是：程式設計師=[programmer, 專業, 中國, 人員, 從業人員, 從事, 分為, 四大, 開發, 程式, 系統分析員, 維護, 英文, 設計, 軟體, 專案經理, 高階]。最後形成的視窗：

map> words　=

每個詞最後的投票得分由這個詞的視窗進行多次迭代投票決定，迭代的結束條件就是大於最大迭代次數這裡是200次，或者兩輪之前某個詞的權重小於某一值這裡是0.001f。看下**：

mapscore = new hashmap();
//依據tf來設定初值
for (map.entry> entry : words.entryset())
system.out.println(score);
for (int i = 0; i < max_iter; ++i)
max_diff = math.max(max_diff, math.abs(m.get(key) - (score.get(key) == null ? 0 : score.get(key))));
}score = m;
if (max_diff <= min_diff) break;
}system.out.println(score);
return score;
}

投票的原理拿programmer=[從事, 開發, 程式, 程式設計師, 維護, 英文]，這個詞來說明，programmer最後的得分是由**[從事, 開發, 程式, 程式設計師, 維護, 英文]**，這６個詞依次投票決定的，每個詞投出去的分數是和他本身的權重相關的。

１、投票開始前每個詞初始化了乙個權重，score.put(entry.getkey(),sigmoid(entry.getvalue().size()))，這個權重是0到１之間，公式是

//value是每個詞視窗的大小
public static float sigmoid(float value)

這個函式的公式和影象如下,因為value一定是大於０的，所以sigmod值屬於(0,1)

初始化後的分詞是：

進行迭代投票，第一輪投票，[programmer, 專業, 中國, 人員, 從業人員, 從事, 分為, 四大, 開發, 程式, 系統分析員, 維護, 英文, 設計, 軟體, 專案經理, 高階]依給次****程式設計師投票，得分如下：

**[programmer]給[程式設計師]投票後，程式設計師]**的得分:

**[專業]給[程式設計師]**投票

hanlp關鍵詞提取演算法TextRank

HanLP 關鍵詞提取。入門篇

關鍵詞提取演算法

關鍵詞提取

相關推薦