tf-idf演算法的全稱叫 term frequency-inverse document frequency 詞頻-逆文件頻率演算法tf
=當前詞
出現在文
章中煩人
個數文章
中總的詞
個數當然，以上說的只是從tf（詞頻）角度來分析，那我們接下來就要從tf-idf來說了。
tf-idf簡單但強大。
在之前我們對於停詞是直接採取過濾的方案，有沒有方法自從讓那些詞頻又高但又不重要的停詞排到後面呢，這兒就用到了idf（逆文件頻率）了。idf的計算公式如下：id
f=lo
g文件總
個數包含
當前詞的
文件個數
+1從表示式中我們可以看出，包含當前詞的文件個數越多，idf的值越小，說明該詞越不重要。反之，該詞越重要。簡單打個比方，像『的』『地』這些停詞幾乎在每一篇文章中都有出現，那麼她的idf就接近0。
idf更像是給tf賦的乙個權重，故tf-idf的計算公式為：tf
−idf
=tf∗
idf
α1=[
x1,y
1] α
1=[x
2,y2
] co
sθ=x
1∗x2
+y1∗
y2x2
1+x2
2−−−
−−−√
+y21
+y22
−−−−
−−√
TF IDF個人總結
tf idf算是nlp工程師必須掌握的入門級別的演算法。作為興趣愛好，之前曾閱讀過幾篇介紹該演算法的部落格，對其只是知道個大概。最近在看吳軍老師的 數學之美 裡面對tf idf的介紹使得我對該演算法有了更深刻的認識。現將個人對該演算法的理解整理如下 tf idf是一種統計方法，用來評估一字詞對於乙個...
TF IDF及其演算法
概念 tf idf term frequency inverse document frequency 是一種用於資訊檢索與資訊探勘的常用加權技術。tf idf是一種統計方法，用以評估一字詞對於乙個檔案集或乙個語料庫中的其中乙份檔案的重要程度。字詞的重要性隨著它在檔案中出現的次數成正比增加，但同時會...
TF IDF及其演算法
概念 tf idf term frequency inverse document frequency 是一種用於資訊檢索與資訊探勘的常用加權技術。tf idf是一種統計方法，用以評估一字詞對於乙個檔案集或乙個語料庫中的其中乙份檔案的重要程度。字詞的重要性隨著它在檔案中出現的次數成正比增加，但同時會...