Python做資料處理

2021-10-04 14:24:45 字數 1076 閱讀 4755

本文僅僅記錄根據需求所需要的用法,對pandas並無詳細的介紹。

詳細的資料可以查閱pandas中文文件

一、需要滿足的需求:將兩個資料庫進行內聯

二、需要用到的包:pandas、fuzzywuzzy(進行字串的模糊匹配)

安裝非常容易pip一下就完事了

pandas用於資料庫的處理等都非常的方便

通常的用法是

pandas將資料庫資料封裝進dataframe物件

#匯入pandas包的標準用法

import pandas as pd

pandas的具體函式使用:

#新建dataframe

df_empty=pd.dataframe(columns=[.

..],index=[.

..])

#從檔案中讀取資料

df_empty=pd.read_csv(

'xx.csv'

)df_empty=pd.read_stata(

'xx.dta'

)df_empty=pd.read_txt(

'xx.txt'

)#將資料匯入檔案中

df.to_csv(

'xx.csv'

)df.to_stata(

'xx.dta'

)

記錄一下pandas的dataframe做資料清洗的操作

df.dropna(

)#去除所有存在空值的行得到子df

df.dropna(how =

'all'

)#去除全為空值的行

df.dropna(axis =

1,how =

'all'

)#去除全為空值的列

df.dropna(thresh =3)

#去除空值數大於3的行

df.dropna(subset =

['xx'])

#去除指定列存在空值的

fuzzywuzzy詳細介紹

futures詳細介紹

python做資料匹配

使用pandas做資料處理

對已有的指標進行簡單的加減乘除處理 求單個企業營業收入的行業佔比 根據 判斷是否是為st 判斷審計機構是否是四大 去除空值 去除資產負債率大於1的企業 groupby 列表生成式 loc merge concat lambda表示式 直接對對應索引 使用groupby,merge函式 df 行業總值...

Python 資料處理

將檔案切分,存入列表 strip split with open james.txt as jaf data jaf.readline james data.strip split 資料檔案為 2 34,3 21,2.34,2.45,3.01,2 01,2 01,3 10,2 22 print ja...

Python 資料處理

本場 chat 為 python 資料處理課程,包括 python 基礎知識 極簡教程 提公升 python 執行效率的方法 爬蟲簡介 scrapy selenium 自動化測試框架 簡易分布式 redis 分詞程式設計 jieba 資料儲存 本地資料上傳 hive 通過本場 chat 讀者可學到以...