Python最快的方式來讀取大文字檔案(幾GB)

2021-09-26 19:47:08 字數 909 閱讀 7400

我有乙個大文字檔案(約7 gb)。我正在尋找是否存在閱讀大文字檔案的最快方法。我一直在閱讀有關使用多種方法作為讀取chunk-by-chunk以加快程序的過程。

例如,effbot建議

# file: readline-example-3.py

file = open("sample.txt")

while 1:

lines = file.readlines(100000)

if not lines:

break

for line in lines:

pass # do something**strong text**

為了每秒處理96,900行文字。其他作者建議使用islice()

from itertools import islice

with open(...) as f:

while true:

next_n_lines = list(islice(f, n))

if not next_n_lines:

break

# process next_n_lines

list(islice(f, n))將返回n檔案的下一行列表f。在迴圈中使用它將為您提供大量n行的檔案

with open() as fileobj:

for lines in fileobj:

print lines # or do some other thing with the line...

將在此時讀取一行記憶體,並在完成後關閉檔案...

本文首發於python黑洞網,csdn同步更新

python讀取大檔案 python讀取大檔案

python讀取檔案對各列進行索引 可以用readlines,也可以用readline,如果是大檔案一般就用readlined a in open testfile.txt r for line in a in columnssplit line.rstrip split d columnsspli...

andorid以pull的方式來讀取XML檔案

andorid以pull的方式來讀取xml檔案 private boolean par ml3 inputstream inputstream if inputstream null return false 獲得xmlpullparser解析器 xmlpullparser xmlparser xm...

python檔案的讀取方式

with open test a r as f f.write test a 只能讀,不存在檔案報錯,filenotfounderror errno 2 no such file or directory test a with open test a r as f f.write test a 操...