使用DataX從CSV中讀取檔案存入HBase

2021-10-06 10:34:32 字數 1234 閱讀 8284

參考文件:

csv檔案格式:

csv檔案提取碼: esuw

json檔案內容:

,

"job":},

"content":[

, ,,,

,,,,

,,,], "fielddelimiter"

:","}},

"writer":,

"table"

:"test",

"mode"

:"normal",

"nullmode"

:"empty",

"rowkeycolumn":[

], "column":[

, ,,,

,,,,

,,], "versioncolumn":,

"encoding"

:"utf-8"}}

}]}}

reader:writer:首先開啟hadoop和hbase,進入hbase的shell環境,建立乙個新錶,表名與json檔案中的tablename相同

再開啟乙個終端,輸入如下命令

第一條路徑為datax的路徑,第二個路徑為json路徑,因為datax需要在python2.7的環境下執行,我的系統預設是3.6,所以寫為python2

顯示已經讀取寫入成功,現在用hbase的shell看一下

共11187行資料,bingo完成!

使用python pandas讀取csv檔案資料

csv 是我接觸的比較早的一種檔案,比較好的是這種檔案既能夠以電子 的形式檢視又能夠以文字的形式檢視。最早接觸是在別人的 perl 指令碼中,或許是為了充分利用 perl 的文字處理能力。不過,日常的生活工作中我用到的比較多的倒還是電子 建立乙個電子 如下 使用mac 中numbers 功能將其匯出...

php讀取csv指定行 PHP讀取csv檔案的內容

一次性讀取csv檔案內所有行的資料 file fopen windows 2011 s.csv r while data fgetcsv file 每次讀取csv裡面的一行內容 print r data 此為乙個陣列,要獲得每乙個資料,訪問陣列下標即可 goods list data print r...

mac 用datax從csv檔案匯入mysql

skipheader true writer password 123456 username root presql session set session sql mode ansi writemode insert setting 3 執行命令 位置是 home datax datax 出現的...