十分鐘搞定pandas

2022-08-14 03:03:17 字數 3283 閱讀 6488

本文是對pandas官方**上《10 minutes to pandas》的乙個簡單的翻譯,原文在這裡。這篇文章是對pandas的乙個簡單的介紹,詳細的介紹請參考:cookbook

。習慣上,我們會按下面格式引入所需要的包:

可以通過 data structure intro setion 來檢視有關該節內容的詳細資訊。

1、可以通過傳遞乙個list物件來建立乙個series,pandas會預設建立整型索引:

2、通過傳遞乙個numpy array,時間索引以及列標籤來建立乙個dataframe:

3、通過傳遞乙個能夠被轉換成類似序列結構的字典物件來建立乙個dataframe:

4、檢視不同列的資料型別:

5、如果你使用的是ipython,使用tab自動補全功能會自動識別所有的屬性以及自定義的列,下圖中是所有能夠被自動識別的屬性的乙個子集:

詳情請參閱:basics section

1、  檢視frame中頭部和尾部的行:

2、  顯示索引、列和底層的numpy資料:

3、  describe()函式對於資料的快速統計彙總:

4、  對資料的轉置:

5、  按軸進行排序

6、  按值進行排序

雖然標準的python/numpy的選擇和設定表示式都能夠直接派上用場,但是作為工程使用的**,我們推薦使用經過優化的pandas資料訪問方式: .at, .iat, .loc, .iloc 和 .ix詳情請參閱indexing and selecing data 和 multiindex / advanced indexing。

l  獲取

1、 選擇乙個單獨的列,這將會返回乙個series,等同於df.a:

2、 通過進行選擇,這將會對行進行切片

l  通過標籤選擇

1、 使用標籤來獲取乙個交叉的區域

2、 通過標籤來在多個軸上進行選擇

3、 標籤切片

4、 對於返回的物件進行維度縮減

5、 獲取乙個標量

6、 快速訪問乙個標量(與上乙個方法等價)

l  通過位置選擇

1、 通過傳遞數值進行位置選擇(選擇的是行)

2、 通過數值進行切片,與numpy/python中的情況類似

3、 通過指定乙個位置的列表,與numpy/python中的情況類似

4、 對行進行切片

5、 對列進行切片

6、 獲取特定的值

l  布林索引

1、 使用乙個單獨列的值來選擇資料:

2、 使用where操作來選擇資料:

3、 使用isin()方法來過濾:

l  設定

1、 設定乙個新的列:

2、 通過標籤設定新的值:

3、 通過位置設定新的值:

4、 通過乙個numpy陣列設定一組新值:

上述操作結果如下:

5、 通過where操作來設定新的值:

在pandas中,使用np.nan來代替缺失值,這些值將預設不會包含在計算中,詳情請參閱:missing data section。

1、  reindex()方法可以對指定軸上的索引進行改變/增加/刪除操作,這將返回原始資料的乙個拷貝:、

2、  去掉包含缺失值的行:

3、  對缺失值進行填充:

4、  對資料進行布林填充:

詳情請參與 basic section on binary ops

l  統計(相關操作通常情況下不包括缺失值)

1、  執行描述性統計:

2、  在其他軸上進行相同的操作:

3、  對於擁有不同維度,需要對齊的物件進行操作。pandas會自動的沿著指定的維度進行廣播:

1、  對資料應用函式:

l  直方圖

具體請參照:histogramming and discretization

l  字串方法

series物件在其str屬性中配備了一組字串處理方法,可以很容易的應用到陣列中的每個元素,如下段**所示。更多詳情請參考:vectorized string methods

.pandas提供了大量的方法能夠輕鬆的對series,dataframe和panel物件進行各種符合各種邏輯關係的合併操作。具體請參閱:merging section

l  concat

l  join 類似於sql型別的合併,具體請參閱:database style joining

:l  (splitting)按照一些規則將資料分為不同的組;

l  (combining)將結果組合到乙個資料結構中;

詳情請參閱:grouping section

1、  分組並對每個分組執行sum函式:

2、  通過多個列進行分組形成乙個層次索引,然後執行函式:

詳情請參閱 hierarchical indexing

和 reshaping

。l  stack

l  資料透視表,詳情請參閱:pivot tables

.可以從這個資料中輕鬆的生成資料透視表:

pandas在對頻率轉換進行重新取樣時擁有簡單、強大且高效的功能(如將按秒取樣的資料轉換為按5分鐘為單位進行取樣的資料)。這種操作在金融領域非常常見。具體參考:time series section

。1、  時區表示:

2、  時區轉換:

3、  時間跨度轉換:

4、  時期和時間戳之間的轉換使得可以使用一些方便的算術函式。

從0.15版本開始,pandas可以在dataframe中支援categorical型別的資料,詳細 介紹參看:categorical introduction

和api documentation

。1、  將原始的grade轉換為categorical資料型別:

2、  將categorical型別資料重新命名為更有意義的名稱:

3、  對類別進行重新排序,增加缺失的類別:

4、  排序是按照categorical的順序進行的而不是按照字典順序進行:

5、  對categorical列進行排序時存在空的類別:

具體文件參看:plotting

docs

對於dataframe來說,plot是一種將所有列及其標籤進行繪製的簡便方法:

l  csv,參考:writing to a csv file

1、  寫入csv檔案:

2、  從csv檔案中讀取:

l  hdf5,參考:hdfstores

1、  寫入hdf5儲存:

2、  從hdf5儲存中讀取:

l  excel,參考:ms excel

1、  寫入excel檔案:

2、  從excel檔案中讀取:

課間十分鐘

時間限制 1000 ms 記憶體限制 128 mb 兩人都是數學愛好者,便發明了乙個遊戲。在遊戲開始前,他們先約定乙個正整數n,同時令m 1。遊戲過程中,每個人都可以將m的值擴大2到9中的任意倍數。第乙個使m n的人就是最後的贏家。181818181818和zbt都十分聰明,並且遊戲過程中都使用最佳...

十分鐘搞定CSS選擇器

在最近的web開發中是不是就會用到一些選擇器,發現很多尤其是css3新增的不太熟悉,在此總結一下。不同級別 1.在屬性後面使用 important 會覆蓋頁面內任何位置定義的元素樣式。2.作為style屬性寫在元素內的樣式 3.id選擇器 4.類選擇器 5.標籤選擇器 6.萬用字元選擇器 7.瀏覽器...

十分鐘搞定介面功能測試

coding utf 8 import requests 獲取驗證碼 2.6.1 android mac a4 c1 a0 5a 07 c9 uuid 34ea2bb748b26643f6093b39b8a144 print 獲取驗證碼 payload r requests.post http 伺服...