pandas入門 匯入資料的5種方式

2021-10-01 23:12:50 字數 1624 閱讀 7132

記錄採用pandas匯入資料的5種方式

import pandas as pd

import pymysql

def import_data_from_csv(): # 從csv檔案匯入資料

# engine="python"可以避免檔案路徑中有中文, encoding="utf_8_sig"可以使讀取的內容中有中文

df = pd.read_csv("./test.csv", engine="python", encoding="utf_8_sig")

def import_data_from_table(): # 從table匯入資料

# sep表示分隔符,header=none表示第一行不是列名,是資料,這樣不會損失第一行的資料

df = pd.read_table("./1.txt", sep="\t", header=none)

print(df)

def import_data_from_excel(): # 從excel中匯入資料

# sheetname表示要讀取的sheet,header=none表示第一行不是表頭, encoding編碼方式

df = pd.read_excel("./example.xls", sheetname='sheet1', header=none, encoding="utf_8_sig")

def import_data_from_sql(): # sql表/庫中匯入資料

con = pymysql.connect(host="127.0.0.1", user="username", password="password", database="dbname", charset='utf8',

use_unicode=true)

sql_cmd = "select * from users limit 10;"

df = pd.read_sql(sql_cmd, con)

def import_data_from_json(): # 從json字串中匯入資料

json_data = '[,]'

df = pd.read_json(json_data)

json_data = ',"home":}'

df = pd.read_json(json_data)

json_data = '[["a",1],["b",2]]'

df = pd.read_json(json_data)

print(df)

def main():

# import_data_from_csv() # 從csv檔案匯入資料

# import_data_from_table() # 從table匯入資料,即txt檔案

# import_data_from_excel() # 從excel中匯入資料

# import_data_from_sql() # sql表/庫中匯入資料

import_data_from_json() # 從json字串中匯入資料

Pandas查詢資料的5種方法

按數值,列表,函式,區間,條件的查詢方法 1.df.loc 根據行列的標籤值進行查詢 2.df.iloc 根據行列的位置進行查詢 3.df.where 4.df.query 用單個lable值查詢資料 使用值列表批量查詢 使用資料區間進行範圍查詢 import pandas as pd df pd....

pandas資料的匯入匯出

1.索引 將乙個列或多個列讀取出來構成dataframe,其中涉及是否從檔案中讀取索引以及列名 2.型別推斷和資料轉換 包括使用者自定義的轉換以及缺失值標記 3.日期解析 4.迭代 針對大檔案進行逐塊迭代。這個是pandas和python原生的csv庫的最大區別 5.不規則資料整理問題 跳過一些行,...

pandas入門 資料選擇

關於pandas資料選擇的知識點總結。df pd.dataframe 建立的dataframe資訊如下 a b c 0 3 1.2 aa 1 4 2.4 bb 2 8 4.5 cc 3 9 7.3 dd df1 df a 根據列名選取一列,以series的形式返回列 df1 df.a 與上面寫法效果...