在資料分析領域,最熱門的莫過於python和r語言,此前有一篇文章《別老扯什麼hadoop了,你的資料根本不夠大》指出:只有在超過5tb資料量的規模下,hadoop才是乙個合理的技術選擇。這次拿到近億條日誌資料,千萬級資料已經是關係型資料庫的查詢分析瓶頸,之前使用過hadoop對大量文字進行分類,這次決定採用python來處理資料:
資料分析工具
源資料如下表所示:
table
size
desc
servicelogs
98,706,832 rows x 14 columns
8.77 gb
交易日誌資料,每個交易會話可以有多條交易
servicecodes
286 rows × 8 columns
20 kb
交易分類的字典表
啟動ipython notebook,載入pylab環境:
ipython notebook --pylab=inlinepandas提供了io工具可以將大檔案分塊讀取,測試了一下效能,完整載入9800萬條資料也只需要263秒左右,還是相當不錯了。
importpandas aspdreader =pd.read_csv('data/servicelogs',iterator=true)try:df =reader.get_chunk(100000000)exceptstopiteration:print"iteration is stopped."
1百萬條
1千萬條
1億條servicelogs
1 s17 s
263 s
使用不同分塊大小來讀取再呼叫 pandas.concat 連線dataframe,chunksize設定在1000萬條左右速度優化比較明顯。
下面是統計資料,read time是資料讀取時間,total time是讀取和pandas進行concat操作的時間,根據資料總量來看,對5~50個dataframe物件進行合併,效能表現比較好。
chunk size
read time (s)
total time (s)
performance
100,000
224.418173
261.358521
200,000
232.076794
256.674154
1,000,000
213.128481
234.934142
√ √2,000,000
208.410618
230.006299
√ √ √
5,000,000
209.460829
230.939319
√ √ √
10,000,000
207.082081
228.135672
√ √ √ √
20,000,000
209.628596
230.775713
√ √ √
50,000,000
222.910643
242.405967
100,000,000
263.574246
263.574246
如果使用spark提供的python shell,同樣編寫pandas載入資料,時間會短25秒左右,看來spark對python的記憶體使用都有優化。
pandas提供了 dataframe.describe 方法檢視資料摘要,包括資料檢視(預設共輸出首尾60行資料)和行列統計。由於源資料通常包含一些空值甚至空列,會影響資料分析的時間和效率,在預覽了資料摘要後,需要對這些無效資料進行處理。
首先呼叫 dataframe.isnull() 方法檢視資料表中哪些為空值,與它相反的方法是 dataframe.notnull() ,pandas會將表中所有資料進行null計算,以true/false作為結果進行填充,如下圖所示:
pandas的非空計算速度很快,9800萬資料也只需要28.7秒。得到初步資訊之後,可以對錶中空列進行移除操作。嘗試了按列名依次計算獲取非空列,和 dataframe.dropna() 兩種方式,時間分別為367.0秒和345.3秒,但檢查時發現 dropna() 之後所有的行都沒有了,查了pandas手冊,原來不加引數的情況下, dropna() 會移除所有包含空值的行。如果只想移除全部為空值的列,需要加上 axis 和 how 兩個引數:
df.dropna(axis=1,how='all')共移除了14列中的6列,時間也只消耗了85.9秒。
接下來是處理剩餘行中的空值,經過測試,在 dataframe.replace() 中使用空字串,要比預設的空值nan節省一些空間;但對整個csv檔案來說,空列只是多存了乙個「,」,所以移除的9800萬 x 6列也只省下了200m的空間。進一步的資料清洗還是在移除無用資料和合併上。
對資料列的丟棄,除無效值和需求規定之外,一些表自身的冗餘列也需要在這個環節清理,比如說表中的流水號是某兩個字段拼接、型別描述等,通過對這些資料的丟棄,新的資料檔案大小為4.73gb,足足減少了4.04g!
使用 dataframe.dtypes 可以檢視每列的資料型別,pandas預設可以讀出int和float64,其它的都處理為object,需要轉換格式的一般為日期時間。dataframe.astype() 方法可對整個dataframe或某一列進行資料格式轉換,支援python和numpy的資料型別。
df['name']=df['name'].astype(np.datetime64)對資料聚合,我測試了 dataframe.groupby 和 dataframe.pivot_table 以及 pandas.merge ,groupby 9800萬行 x 3列的時間為99秒,連線表為26秒,生成透視表的速度更快,僅需5秒。
df.groupby(['no','time','svid']).count()# 分組fulldata =pd.merge(df,trancodedata)[['no','svid','time','class','type']]# 連線actions =fulldata.pivot_table('svid',columns='type',aggfunc='count')# 透視表根據透視表生成的交易/查詢比例餅圖:
將日誌時間加入透視表並輸出每天的交易/查詢比例圖:
total_actions =fulldata.pivot_table('svid',index='time',columns='type',aggfunc='count')total_actions.plot(subplots=false,figsize=(18,6),kind='area')
除此之外,pandas提供的dataframe查詢統計功能速度表現也非常優秀,7秒以內就可以查詢生成所有型別為交易的資料子表:
trandata =fulldata[fulldata['type']=='transaction']該子表的大小為 [10250666 rows x 5 columns]。在此已經完成了資料處理的一些基本場景。實驗結果足以說明,在非「>5tb」資料的情況下,python的表現已經能讓擅長使用統計分析語言的資料分析師游刃有餘。
Python Pandas基礎 結構化資料處理
python pandas基礎 結構化資料處理 目錄 1 seriesobj series 4,7,5,3 obj.index obj.valuesobj one 1obj obj 0 obj 2 np.exp obj a in objdata obj series data obj.name po...
python pandas使用記錄
在使用numpy中array格式的矩陣時,我們通常使用如a 2 4,5 10 獲取陣列中一部分資料,但是dataframe結構的陣列就不能這麼寫,可以使用iloc方法,即index locate,另外有個相似的方法loc,這個方法是通過column名字進行資料定位的 import pandas as...
Python pandas 使用 速查
在注釋中的路徑不能使用 只能用 或者 否則執行的時候還是會報unicode 編譯錯誤 list filter lambda s not s.startswith list0 對 list 進行過濾,返回符合條件的 結果列表 使用 regex 查詢並返回有 orders 的 列表item 返回只有 o...