貌似sqoop1.99以後的版本 不支援從mysql直接匯入hbase了.具體我也不知道什麼情況,所以我是先將mysql中的資料匯入到hdfs中,之後再從hdfs中匯入hbase中
輸入show version -all 來驗證sqoop連線的驗證
sqoop1.99.7 從mysql匯入hdfs的步驟 根據官網的介紹是:
一.新建2個link 1個是jdbc的link 負責鏈結mysql的,1個是hdfs的鏈結,負責鏈結hdfs檔案的
1,新建jdbc的link
2,新建hdfs
2個link都已經建立完畢.
下面需要建立乙個job,相當於1個橋梁
我們看到 job已經執行完成,我們去事先建立好的hadoop的資料夾中取看看
我們看到 生成了10個檔案 其中乙個檔案的行數是10萬+ 總數量在百萬左右
第一步我們就完成了從mysql匯入hdfs的步驟,
第二步我們需要將這些檔案匯入到hbase中,首先我們在hbase中建立一張表 create 'csdn','stat'
表建立完成
執行命令hbase org.apache.hadoop.hbase.mapreduce.importtsv -dimporttsv.separator="," -dimporttsv.columns=hbase_row_key,stat:id,stat:stat_date,stat:query,stat:scene,stat:scenename,stat:brand_id,stat:brand_name,stat:goods_id,stat:goods_name,stat:repeat_count,stat:create_time,stat:update_time csdn /mh3/*
等待貌似有些字段沒有對上,回去查下原因 應該是空值的原因 .好了先到這吧
mysql 遷移資料
一 匯出匯入所有資料庫的資料 1.匯出 mysqldump u root p123456 all databases all.sql 2.匯入 mysql u root p123456 all.sql 二 匯出匯入指定資料庫的資料 1.匯出 mysqldump u root p123456 test...
Mysql從伺服器遷移資料庫到本地
1.首先ssh伺服器 ssh root 伺服器ip p 埠號 2.進入伺服器後，用mysqldump命令執行匯出資料庫 mysqldump u使用者名稱 p 資料庫名 資料庫名.sql 3.從伺服器拷貝資料庫.sql到本機 scp root 伺服器ip p 埠號 資料庫名.sql 4.將資料庫.sq...
elasticsearch遷移資料到新索引中
因為業務原因，需要修改索引的對映的某個欄位的型別，比如更改text為keyword。需要如下步驟 1 先新建索引，對映最新的對映實體 2 遷移老索引的資料到新索引中 資料較大的話，可以分批遷移 3 刪除老索引 下面使用elasticsearch head外掛程式 安裝自行網上搜尋 操作 啟動elas...