1.索引：將乙個列或多個列讀取出來構成dataframe，其中涉及是否從檔案中讀取索引以及列名
2.型別推斷和資料轉換：包括使用者自定義的轉換以及缺失值標記
3.日期解析
4.迭代：針對大檔案進行逐塊迭代。這個是pandas和python原生的csv庫的最大區別
5.不規則資料整理問題：跳過一些行，或注釋等等
#指定乙個列名稱
)#缺失值處理
)#把裡面這些值換成nan
# 正規表示式
)# 不寫索引
df = pd.read_csv(
'data/ex5.csv'
)df.to_csv(
'data/ex5_out.csv'
, index=
false
)# 不寫列名稱
df = pd.read_csv(
'data/ex5.csv'
)df.to_csv(
'data/ex5_out.csv'
, index=
false
, header=
none
)# 指定分隔符
df = pd.read_csv(
'data/ex5.csv'
)df.to_csv(
'data/ex5_out.csv'
, index=
false
, sep=
'|')
# 只寫出一部分列
df = pd.read_csv(
'data/ex5.csv'
)df.to_csv(
'data/ex5_out.csv'
, index=
false
, columns=
['a'
,'b'
,'message'
])
二進位制的優點是容量小，讀取速度快。缺點是可能在不同版本間不相容。比如 pandas 版本公升級後，早期版本儲存的二進位制資料可能無法正確地讀出來。
資料的匯出匯入
異構資料庫之間資料交換，主要使用txt文字檔案 以下記錄乙個工具的使用 sqluldr.zip主要使用oci庫運算元據庫，效能很好。可以很好的匯出txt文字 使用之前需要安裝oracle客戶端，配置好tnsname user username password tnsname 使用者名稱密碼 sql...
匯入匯出資料
從檔案中裝載資料 hive load data local inpath overwrite into table t2 partition province beijing local linux本地的檔案。無local 是hdfs的檔案 注意 從本地檔案系統中將資料匯入到hive表的過程中，其實...
資料匯入匯出
資料匯入匯出是指sql server資料庫系統與外部系統之間進行資料交換的操作。匯入資料是草外部資料來源中查詢或指定資料，並將其插入到sql server的資料表中的過程，也就是說把其他系統的資料引入到sql server的資料庫中 而匯出資料是將sql server資料庫中的資料轉換為使用者指定格...