python 動手實現tfidf

2021-10-09 06:00:55 字數 3617 閱讀 8688

最近自己實現了一下tfidf，發現實現起來細節跟tfidf的公式還是不大一樣，我這裡把我的實現過程分享出來。

import pandas as pd


import glob


import numpy as np


from nltk.tokenize import word_tokenize


import nltk


from nltk.corpus import stopwords


import math


from tqdm import tqdm 


txtfiles=glob.glob('task5/*.txt')


list_data=


for txt_name in txtfiles:


print(txt_name)


with open (txt_name) as fin:


tokens = word_tokenize(fin.read())


print(tokens[:5])
每個txt代表乙個文件，txt裡面就是英文文件哈。

import string


list_remove_punc=


for text_arr in tqdm(list_data):  # remove punctuation


text_arr=' '.join(text_arr)


table = str.maketrans(dict.fromkeys(string.punctuation))  # or 


new_s = text_arr.translate(table)


list_data=list_remove_punc


list_filtered_data=


for doc in tqdm(list_data):  # remove stop words


filtered_sentence = 


for word in doc:


if str(word) not in set(stopwords.words('english')):
df代表document frequency，表示該單詞在所有文件**現的次數，n表示文件的總數，t代表term

def word_count(word_list):


word_dict={}


for word in word_list:


if(word in word_dict):


word_dict[word]=word_dict[word]+1


else:


word_dict[word]=1


return word_dict


def get_vocab(list_filtered_data):


vocab=


for wordlist in list_filtered_data:


vocab+=wordlist


return set(vocab)


def computeidf(vocab, alldocuments):


idfdict = {}


idfdict = dict.fromkeys(list(vocab), 0)


words=list(vocab)


print(len(words))


for term in words:


numdocumentswiththisterm = 0


for doc in alldocuments:


if term in doc:


numdocumentswiththisterm = numdocumentswiththisterm + 1


idfdict[term]=math.log10(float(len(alldocuments)) / (float(numdocumentswiththisterm)+1))


# if numdocumentswiththisterm > 0:


#    idfdict[term]=1.0 + math.log(float(len(alldocuments)) / numdocumentswiththisterm)


# else:


#    idfdict[term]=1.0


return idfdict


#inputing our sentences in the log file


vocab=get_vocab(list_filtered_data)


idf=computeidf(vocab,list_filtered_data)
def computetf(word_list):


tfdict = {}


corpuscount = len(word_list)


worddict = word_count(word_list)


for word, count in worddict.items():


tfdict[word] = count/float(corpuscount)


return(tfdict)


tfs=


for words in list_filtered_data:


tf=computetf(words)
def computetfidf(tfbow, idfs):


tfidf = {}


for word, val in tfbow.items():


tfidf[word] = val*idfs[word]


return(tfidf)


tfidfs=


for tf in tfs:


tfidf=computetfidf(tf,idf)


list_words=


list_values=


for tfidf in tfidfs:


d_order=sorted(tfidf.items(),key=lambda x:x[1],reverse=true)  # 按字典集合中，每乙個元組的第二個元素排列。


print(d_order[:10])


for k,v in d_order[:10]:
list_names=


for txtname in txtfiles:


print(txtname)


for i in range(10):


import pandas as pd


list_res=


for i in range(len(list_words)):


column_name = ['book title', 'word','tf-idf']


csv_name='books_tfidf_test_scratch.csv'


xml_df = pd.dataframe(list_res, columns=column_name)


xml_df.to_csv(csv_name, index=none)
實現過程也是參考了很多網上的實現哈，如果**有啥bug，歡迎跟我研究討論哈，我平時也很少從頭實現乙個機器學習演算法，不過實現了之後，發現學到的東西還是挺多的，看來學習需要下沉，不能停留在表面上

[1].tf idf | tfidf python example. 

[2].creating tf-idf model from scratch. 

TF IDF介紹及Python實現文字聚類

tf idf是一種統計方法，用以評估一字詞對於乙個檔案集或乙個語料庫中的其中 乙份檔案的重要程度。字詞的重要性隨著它在檔案 現的次數成正比增加，但 同時會隨著它在語料庫 現的頻率成反比下降。tf idf 加權的各種形式常被搜 索引擎應用，作為檔案與使用者查詢之間相關程度的度量或評級。除了 tf id...

動手實現 redux

假如按鈕和介面不在同一元件,經常用redux去實現上面功能,可以想象到如下 const test hello world const mapstatetoprops state 用過mapstatetoprops從頂層拿到屬性然後展示,在另乙個組建通過mapdispatchtoprops去觸發act...

動手實現Tomcat

版本一 無區分靜態資源 如demo.html 一 需求描述 二 整體示意圖 三 實現 專案工程 服務端的工作都在testserver類中完成 1.服務端的準備工作 1 靜態變數web root，用於存放webcontent目錄的絕對路徑 2 定義靜態變數url，存放本次請求服務端的靜態資源的名稱 2...