Python 去除txt檔案中重複的行數

2021-09-10 07:17:55 字數 587 閱讀 6078

1.前言:

採用python中set()的概念,通過遍歷原始文件中的元素,並將其新增到set()中,然後根據set()的性質來判斷新的元素是否要被新增到新的文件中去。最終生成的新的文件即滿足所需。

2.**實現:

#coding:utf-8

readdir = "./original_file.txt"

writedir = "./new_file.txt"

outfile=open(writedir,"w")

f = open(readdir,"r")

lines_seen = set() # build an unordered collection of unique elements.

for line in f:

line = line.strip('\n')

if line not in lines_seen:

outfile.write(line+ '\n')

lines_seen.add(line)

Python中TXT檔案讀寫中文

第一次寫部落格,記錄python學習史吧!當做筆記。txt 檔案讀寫中文時,加上編碼格式 encoding utf 8 for example 讀 filename txt 內含中文 f open filename,r encoding utf 8 r 可以省略,因為預設值就是r content f...

python中實現txt檔案讀寫

def read txt path,pass n,model 0 import os import numpy as np function 讀取資料夾內txt檔案 path str,txt檔案所在資料夾 pass n int,從txt檔案中第pass n行開始讀檔案 model int,兩個模式,...

python中pandas讀取txt檔案注意事項

語法 pandas.read table 引數 filepath or buffer 檔案路徑或者輸入物件 sep 分隔符,預設為製表符 names 讀取哪些列以及讀取列的順序,預設按順序讀取所有列 engine 檔案路徑包含中文的時候,需要設定engine python encoding 檔案編碼...