Vaex安裝及使用記錄

2021-10-23 02:45:18 字數 772 閱讀 4070

一 安裝

1 windows嘗試失敗(無論是pip 還是anaconda)

2 ubuntu conda 一次成功

二 使用

1 首先將csv檔案轉換成hdf5檔案

# 注意:csv轉換成hdf5時column的名稱不能含有中文

pandas_df = pd.read_csv(file_path)

vaex_df = vaex.from_pandas(pandas_df, copy_index=false)

vaex_df.export_hdf5(『my_data.hdf5』)

2 讀取眾多hdf5檔案並合併到一起

df_all = vaex.open_many(file_path_list)

( 單個讀取就是vaex.open(file_path))

3 資料型別轉換(astype)

eg:df_all[『is_alone』] = (df_all.family_size == 0).astype(『int』)

df_train[『has_cabin』] = df_train.cabin.notna().astype(『int』)

6 排序

eg:df.sort(『y』, ascending=false)#多個列排序 ([『x』, 『y』])

7 df重新組合(join concat)

df1.concat[df2]# 上下合併

ds1.join(ds2)# 左右合併

8 匯出

df.export(『x.hdf5』)

docker安裝及使用記錄

todo 查詢docker映象 docker search python 拉取docker映象 docker pull docker.io centos python 36 centos7 編寫dockerfile 從遠端拉取映象庫 from docker.io centos python 36 c...

python opencv 安裝記錄及使用記錄

使用命令安裝 sudo apt get install python opencv之後如果使用的是pyenv裡面的anconda,需要複製 sudo cp usr lib python2.7 dist packages cv2.so pyenv versions anaconda lib pytho...

mac anaconda安裝使用記錄

記錄安裝包時候的一些過程,本文持續更新。一 安裝anaconda3om e an acon da3 bin usr bin bi n u sr s bin sbi n u sr l ocal bin home anaconda3 bin usr bin bin usr sbin sbin usr l...