python讀取大檔案 python讀取大檔案

2021-10-10 03:51:44 字數 1122 閱讀 3902

python讀取檔案對各列進行索引 可以用readlines, 也可以用readline, 如果是大檔案一般就用readlined={}

a_in = open("testfile.txt", "r")

for line in a_in:

columnssplit = line.rstrip().split(" ")

d[columnssplit[0]]=columnssplit[1]

a_in.close()

id_test = open("correlation.txt", "r")

for line in id_test:

s = line.rstrip().split(" ")

if s[1] in d:

print s[0]+" "+d[s[1]]

id_test.close()

## here is another example

f = open("test.txt", "r")

while true:

line = f.readline()

if line: # 或者用 if line != "":

print line

else:

break

f.close()

python 還有乙個pandas 主要用於大資料分析, 它與matplotlib以及 numpy 結合可以替代r語言進行統計學分析, 獲取dataframe的 各行內容,可以用iterrows() 和 itertuples(), 其中 itertuples() 比 iterrows()速度更快。import pandas as pd

df1 = pd.read_csv("test.txt", header = none, sep=' ')

# 列印前三行

print df1[:3]

# 選取前三行的 前三列, 使用df.loc

df2 = df1.loc[:3, [0, 1, 2]]

print df2

# 替換第三列的部分內容

# 合併第一列和替換後的第三列內容

df3 = pd.concat([df2[0], col3], axis = 1)

print df3

參考:

python 讀取大檔案

以前一直沒有關注過python讀取大檔案的問題,因為一直都是順順暢暢地讀取了檔案。直到今天有人問我python怎麼讀取檔案出現了記憶體不足的錯誤?我才發現原來大檔案 gb級別 的讀取和普通檔案的讀取是不一樣的。下面介紹三種我親測可用的方法。這裡的檔案型別可以是txt,dat等型別的檔案。用read ...

python讀取大檔案

最近在學習python的過程中接觸到了python對檔案的讀取。python讀取檔案一般情況是利用open 函式以及read 函式來完成 f open filename,r f.read 這種方法讀取小檔案,即讀取遠遠大小小於記憶體的檔案顯然沒有什麼問題。但是如果是將乙個10g大小的日誌檔案讀取,即...

python 大檔案的讀取

在這裡插入 片很久以前做數學建模的時候面臨了一回大檔案的讀取問題,當時沒有什麼程式設計經驗就使用如下的 進行了讀取。with open filename,rb as fp for line in fp.readlines do something line 這種 在檔案比較小時倒也沒有太大影響,但是...