pandas迭代讀mysql Pandas迭代

2021-10-19 19:58:21 字數 3596 閱讀 6543

pandas物件之間的基本迭代的行為取決於型別。當迭代乙個系列時,它被視為陣列式,基本迭代產生這些值。其他資料結構,如:dataframe和panel,遵循類似慣例迭代物件的鍵。

簡而言之,基本迭代(對於i在物件中)產生 -

series - 值

dataframe - 列標籤

pannel - 專案標籤

迭代dataframe

迭代dataframe提供列名。現在來看看下面的例子來理解這個概念。

import pandas as pd

import numpy as np

n=20

df = pd.dataframe({

'a': pd.date_range(start='2016-01-01',periods=n,freq='d'),

'x': np.linspace(0,stop=n-1,num=n),

'y': np.random.rand(n),

'c': np.random.choice(['low','medium','high'],n).tolist(),

'd': np.random.normal(100, 10, size=(n)).tolist()

for col in df:

print (col)

執行上面示例**,得到以下結果 -ac

dxy要遍歷資料幀(dataframe)中的行,可以使用以下函式 -

iteritems() - 迭代(key,value)對

iterrows() - 將行迭代為(索引,系列)對

itertuples() - 以namedtuples的形式迭代行

iteritems()示例

將每個列作為鍵,將值與值作為鍵和列值迭代為series物件。

import pandas as pd

import numpy as np

df = pd.dataframe(np.random.randn(4,3),columns=['col1','col2','col3'])

for key,value in df.iteritems():

print (key,value)

執行上面示例**,得到以下結果 -

col1 0 0.802390

1 0.324060

2 0.256811

3 0.839186

name: col1, dtype: float64

col2 0 1.624313

1 -1.033582

2 1.796663

3 1.856277

name: col2, dtype: float64

col3 0 -0.022142

1 -0.230820

2 1.160691

3 -0.830279

name: col3, dtype: float64

觀察一下,單獨迭代每個列作為系列中的鍵值對。

iterrows()示例

iterrows()返回迭代器,產生每個索引值以及包含每行資料的序列。

import pandas as pd

import numpy as np

df = pd.dataframe(np.random.randn(4,3),columns = ['col1','col2','col3'])

for row_index,row in df.iterrows():

print (row_index,row)

執行上面示例**,得到以下結果 -

0 col1 1.529759

col2 0.762811

col3 -0.634691

name: 0, dtype: float64

1 col1 -0.944087

col2 1.420919

col3 -0.507895

name: 1, dtype: float64

2 col1 -0.077287

col2 -0.858556

col3 -0.663385

name: 2, dtype: float64

3 col1 -1.638578

col2 0.059866

col3 0.493482

name: 3, dtype: float64

注意 - 由於iterrows()遍歷行,因此不會跨該行保留資料型別。0,1,2是行索引,col1,col2,col3是列索引。

itertuples()示例

itertuples()方法將為dataframe中的每一行返回乙個產生乙個命名元組的迭代器。元組的第乙個元素將是行的相應索引值,而剩餘的值是行值。

示例import pandas as pd

import numpy as np

df = pd.dataframe(np.random.randn(4,3),columns = ['col1','col2','col3'])

for row in df.itertuples():

print (row)

執行上面示例**,得到以下結果 -

pandas(index=0, col1=1.5297586201375899, col2=0.76281127433814944, col3=-

0.6346908238310438)

pandas(index=1, col1=-0.94408735763808649, col2=1.4209186418359423, col3=-

0.50789517967096232)

pandas(index=2, col1=-0.07728664756791935, col2=-0.85855574139699076, col3=-

0.6633852507207626)

pandas(index=3, col1=0.65734942534106289, col2=-0.95057710432604969,

col3=0.80344487462316527)

注意 - 不要嘗試在迭代時修改任何物件。迭代是用於讀取,迭代器返回原始物件(檢視)的副本,因此更改將不會反映在原始物件上。

示例**

import pandas as pd

import numpy as np

df = pd.dataframe(np.random.randn(4,3),columns = ['col1','col2','col3'])

for index, row in df.iterrows():

row['a'] = 10

print (df)

執行上面示例**,得到以下結果 -

col1 col2 col3

0 -1.739815 0.735595 -0.295589

1 0.635485 0.106803 1.527922

2 -0.939064 0.547095 0.038585

3 -1.016509 -0.116580 -0.523158

注意觀察結果,修改變化並未反映出來。

¥ 我要打賞

糾錯/補充

收藏加qq群啦,易百教程官方技術學習群

注意:建議每個人選自己的技術方向**,同乙個qq最多限加 3 個群。

Pandas處理較大檔案 讀檔案

1 讀取檔案中前部分 通過nrows引數,來設定讀取檔案的前多少行,nrows是乙個大於等於0的整數。data pd.read csv data.csv nrows 5 print data a b c 0 0 1 2 1 3 4 5 2 6 7 8 3 9 10 11 4 12 13 14 2 逐...

Pandas 03 檔案讀和儲存

詳解pandas檔案讀寫和儲存 1 pandas.read csv讀取檔案 2 快速瀏覽讀入的資料 3 pandas.dataframe.to csv寫入檔案 4 參考資料 pandas能處理多種 資料型別 詳細見 data1 name2 age3 data name age 2018 6 16 李...

使用Pandas的迭代以及其他關於效率的一點記錄

1.將series轉成dataframe進行iterrows迭代 初學pandas,開始不知道series可以迭代 計算強度 耗時 464.36 秒 2.使用 series.items 等同itertems 迭代計算 計算強度 耗時 50.41 秒 從這個結果看時間可能是消耗在series轉成dat...