ML之02 TF IDF演算法原理及其應用

2021-08-02 19:19:21 字數 790 閱讀 3799

余弦相似性cosine similiarity

reference

tf-idf介紹

tf-idf(term frequency–inverse document frequency)是一種用於資訊檢索與資料探勘的常用加權技術。用以評估一字詞對於乙個檔案集或乙個語料庫中的其中乙份檔案的重要程度

tf-idf演算法步驟

考慮到文章有長短之分,為了便於不同文章的比較,進行」詞頻」標準化。

詞頻(tf) = 某個詞在文章中的出現次數/文章的總詞數 或者

詞頻(tf) = 某個詞在文章中的出現次數/文章中的出現次數最多的詞的出現次數

逆文件詞頻(idf) = log(語料庫的文件總數/(包含改詞的文件數+1))

如果乙個詞越常見,那麼分母就越大,逆文件頻率就越小越接近0。分母之所以要加1,是為了避免分母為0(即所有文件都不包含該詞)。log表示對得到的值取對數。

第三步,計算tf-idf。

tf-idf演算法實現

tf-idf演算法本身和實現過程中可能的影響因素

3、語料庫的影響:語料庫的時效性。

tf-idf應用場景

tf-idf演算法應用示例

object

tfidfexample

}

「余弦相似度」是一種非常有用的演算法,只要是計算兩個向量的相似程度,都可以採用它。

(3)生成兩篇文章各自的詞頻向量;

(4)計算兩個向量的余弦相似度,值越大就表示越相似。

推薦演算法之FFM 原理及實現簡介

推薦系統一般可以分成兩個模組,檢索和排序。比如對於電影推薦,檢索模組會針對使用者生成乙個推薦電影列表,而排序模組則負責對這個電影列表根據使用者的興趣做排序。當把ffm演算法應用到推薦系統中時,具體地是應用在排序模組。ffm演算法,全稱是field aware factorization machin...

聚類之詳解FCM演算法原理及應用

fcm原理介紹 fcm分析1 fcm分析2 fcm分析3 首先介紹一下模糊這個概念,所謂模糊就是不確定,確定性的東西是什麼那就是什麼,而不確定性的東西就說很像什麼。比如說把20歲作為年輕不年輕的標準,那麼乙個人21歲按照確定性的劃分就屬於不年輕,而我們印象中的觀念是21歲也很年輕,這個時候可以模糊一...

每日一演算法之氣泡排序原理及實現

by zxy,qq群 168424095 氣泡排序基本原理 大泡在上,小泡在下 時間複雜度 o n 2 不及堆排序 快速排序的o nlogn,底數為2 一路 二路歸併排序 不平衡二叉樹排序的速度均比氣泡排序快,且具有穩定性,速度不及堆排序 快速排序。氣泡排序是經過n 1趟子排序完成的,第i趟子排序從...