1、定義：
tf-idf（term frequency–inverse document frequency）是一種用於資訊檢索與資訊探勘的常用加權技術。tf-idf是一種統計方法，用以評估一字詞對於乙個檔案集或乙個語料庫中的其中乙份檔案的重要程度。字詞的重要性隨著它在檔案中出現的次數成正比增加，但同時會隨著它在語料庫中出現的頻率成反比下降。tf-idf加權的各種形式常被搜尋引擎應用，作為檔案與使用者查詢之間相關程度的度量或評級。除了tf-idf以外，網際網路上的搜尋引擎還會使用基於鏈結分析的評級方法，以確定檔案在搜尋結果中出現的順序。
2、原理：
在乙份給定的檔案裡，詞頻 (term frequency, tf) 指的是某乙個給定的詞語在該檔案中出現的次數。這個數字通常會被歸一化（分子一般小於分母 區別於idf），以防止它偏向長的檔案。（同乙個詞語在長檔案裡可能會比短檔案有更高的詞頻，而不管該詞語重要與否。）
逆向檔案頻率 (inverse document frequency, idf) 是乙個詞語普遍重要性的度量。某一特定詞語的idf，可以由總檔案數目除以包含該詞語之檔案的數目，再將得到的商取對數得到。
某一特定檔案內的高詞語頻率，以及該詞語在整個檔案集合中的低檔案頻率，可以產生出高權重的tf-idf。因此，tf-idf傾向於過濾掉常見的詞語，保留重要的詞語。
tf-idf的主要思想是：如果某個詞或短語在一篇文章中出現的頻率tf高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。tf-idf實際上是：tf * idf，tf詞頻(term frequency)，idf反文件頻率(inverse document frequency)。tf表示詞條在文件d中出現的頻率（另一說：tf詞頻(term frequency)指的是某乙個給定的詞語在該檔案中出現的次數）。idf的主要思想是：如果包含詞條t的文件越少，也就是n越小，idf越大（見後續公式），則說明詞條t具有很好的類別區分能力。如果某一類文件c中包含詞條t的文件數為m，而其它類包含t的文件總數為k，顯然所有包含t的文件數n=m+k，當m大的時候，n也大，按照idf公式得到的idf的值會小，就說明該詞條t類別區分能力不強。（另一說：idf反文件頻率(inverse document frequency)是指果包含詞條的文件越少，idf越大，則說明詞條具有很好的類別區分能力。）但是實際上，有時候，如果乙個詞條在乙個類的文件中頻繁出現，則說明該詞條能夠很好代表這個類的文字的特徵，這樣的詞條應該給它們賦予較高的權重，並選來作為該類文字的特徵詞以區別與其它類文件。這就是idf的不足之處.
tf-idf通常會和余弦相似度等結合使用，例如vsm模型中，來實現文字資料的分析和挖掘。
通俗理解TF IDF文字分析演算法
tf idf是一種文字詞頻 文字特徵提取 統計演算法 詞頻 tf 乙個詞語在文字中出現的頻率 文字總數 d 所蒐集的所有文字數 含關鍵字文字數 dw 含有某個詞 關鍵字 的文字數目 公式 注 idf處理目的 1 降低具有 普遍性 詞語的權重，提公升具有 個性化 的詞的頻率 2 分母dw 1是為了避免...
思考 tf idf之於文字分類
因為工作中需要用到計算詞語權重，進而作詞與選擇，思考了一下tf idf。首先還是簡單介紹一下tf idf。這個概念最開始用於資訊檢索。tf表示term frequency，通常是指詞頻 idf表示inversed document frequency，是文件頻率的倒數。計算方式如下 通常是對於一篇文...
思考 tf idf之於文字分類
因為工作中需要用到計算詞語權重，進而作詞與選擇，思考了一下tf idf。首先還是簡單介紹一下tf idf。這個概念最開始用於資訊檢索。tf表示term frequency，通常是指詞頻 idf表示inversed document frequency，是文件頻率的倒數。計算方式如下 通常是對於一篇文...