所謂較大.csv檔案,就是直接用pd.read_csv讀取,會出現memoryerror.
這時需要把檔案變成迭代器,分段讀取.
user_info = pd.read_csv("e:\data_analysis\graduation design\data\weibo_users.csv", iterator=true)
新增了iterator引數. 這樣可以使用.get_chunk(10000)方法,每次讀取一萬行,同時用count累加.
當檔案行數不夠的時候,會報出stopiteration,這時跳出迴圈即可
count = 0
for i in range(300):
try:
user = user_info.get_chunk(10000)
count += user.shape[0]
except stopiteration:
break
print(count)
python使用csv寫入csv檔案
沒什麼好說的,直接上 吧 with open file.csv w encoding utf 8 newline as csvfile writer csv.writer csvfile 首先是表頭 writer.writerow id name gender birthday rating 然後是...
python使用csv讀寫CSV檔案
檔案的讀 import csv with open test.csv r as csv file reader csv.reader csv file for line in reader print line 檔案的寫 import csv 表頭 file header houseinfo hou...
寫csv檔案 Python讀寫CSV
逗號分隔值 comma separated values,csv,有時也稱為字元分隔值,因為分隔字元也可以不是逗號 其檔案以純文字形式儲存 資料 數字和文字 1 首先匯入csv模板 2 建立乙個csv檔案物件 3 開啟檔案進行讀取 結果 測試1 軟體測試工程師 測試2 軟體測試工程師 測試3 軟體測...