python使用生成器的原理遍歷大檔案

# 需求遍歷大小為500g的檔案

# 檔案特殊之處只有一行，一行就有500g，每條資料使用分隔符「｛|｝」隔開

def

readline(f, separator):
"""讀取資料的方法
:param separator: 分隔符
:return: none
"""bar = ""
while
true:
while separator in
bar:
pos_index =bar.index(separator)
result =bar[:pos_index]
yield
result
bar = bar[pos_index+3:]
#假設一次讀取4096個
chunk = f.read(4096)
ifchunk:
bar +=chunk
else
:            
yield
bar            
break
if__name__ == "
__main__":
with open(
"input.txt
") as f:
for line in readline(f, ""):
print(line)

這裡我準備了乙個檔案input.text，檔案內容如下

python 生成器作用 Python生成器

生成器介紹 在函式內部包含yield關鍵字，那麼該函式執行的結果是生成器，生成器就是迭代器。生成器的功能 把函式結果做成迭代器 以一種優雅的方式封裝好iter,next 提供了一種自己定義迭代器的方式。使用生成器建立乙個迭代器 def a print a yield 11 使用yield，執行後返回...

python生成器好處 Python生成器筆記

python中三大器有迭代器，生成器，裝飾器，本文主要講述生成器。主要從生成器的概念，本質，以及yield關鍵字的使用執行過程。本質 生成器是一類特殊的迭代器，使用了yield關鍵字的函式不再是函式，而是生成器。使用了yield的函式就是生成器 1.yield關鍵字有兩點作用 1.1 yield語句...

python生成器函式 Python 生成器函式

一 生成器 生成器指的是生成器物件，可由生成器表示式得到，也可使用 yield 關鍵字得到乙個生成器函式，呼叫這個函式得到乙個生成器物件 生成器物件，是乙個可迭代物件，是乙個迭代器 生成器物件，是延遲計算 惰性求值的 1.1 生成器函式 函式體重包含 yield 語句的函式，就是生成器函式，呼叫後返...