我有乙個大文字檔案(約7 gb)。我正在尋找是否存在閱讀大文字檔案的最快方法。我一直在閱讀有關使用多種方法作為讀取chunk-by-chunk以加快程序的過程。
例如,effbot建議
# file: readline-example-3.py
file = open("sample.txt")
while 1:
lines = file.readlines(100000)
if not lines:
break
for line in lines:
pass # do something**strong text**
為了每秒處理96,900行文字。其他作者建議使用islice()
from itertools import islice
with open(...) as f:
while true:
next_n_lines = list(islice(f, n))
if not next_n_lines:
break
# process next_n_lines
list(islice(f, n))
將返回n
檔案的下一行列表f
。在迴圈中使用它將為您提供大量n
行的檔案
with open() as fileobj:
for lines in fileobj:
print lines # or do some other thing with the line...
將在此時讀取一行記憶體,並在完成後關閉檔案...
本文首發於python黑洞網,csdn同步更新
python讀取大檔案 python讀取大檔案
python讀取檔案對各列進行索引 可以用readlines,也可以用readline,如果是大檔案一般就用readlined a in open testfile.txt r for line in a in columnssplit line.rstrip split d columnsspli...
andorid以pull的方式來讀取XML檔案
andorid以pull的方式來讀取xml檔案 private boolean par ml3 inputstream inputstream if inputstream null return false 獲得xmlpullparser解析器 xmlpullparser xmlparser xm...
python檔案的讀取方式
with open test a r as f f.write test a 只能讀,不存在檔案報錯,filenotfounderror errno 2 no such file or directory test a with open test a r as f f.write test a 操...