sqoop2的安裝以及配置,參考鏈結
基於sqoop2 實現關係型資料庫到hdfs的資料傳輸
1、設定sqoop服務端
set server -u http://master:12000/sqoop
2、建立link
先檢視現有的cennector,通過 show connector 可以檢視到幾種connector的方式
show connector
這裡我以mysql -> hdfs傳輸為例,分別建立兩個link 。
1) mysql 鏈結
create link -c generic-jdbc-connector
name: mysql-link
driver class:com.mysql.jdbc.driver。
connection string:jdbc:mysql:
username:root
password:root
fetchsize:直接回車
entry#:protocol=tcp
identifier enclose:空格 ,再回車
2) hdfs鏈結
create link -c hdfs-connector
name: hdfs-link
hdfs uri: hdfs://master:9000
hadoop conf directory:/root/hadoop-2.7.2/etc/hadoop #hadoop配置檔案的目錄
3)檢視已建立的鏈結
show link
3、建立job
create job -f mysql-link -t hdfs-link
檢視job
show job
4、執行job
start job -n hbase_job -s
可通過hadoop集群檢視到該job shell 命令 Unix Linu命令 2
這裡是一篇文字 beautifierplugin error unable to handle bash syntax.泰安永佳塑料 xiaoli 泰安永佳塑料 xiaoli 揚州唐城車燈廠,xiaoli 汕頭市魯班裝飾設計工程 方少雄 瀋陽中模技術開發 張弘 瀋陽希望第一小學,王老師 寧波萬力達集...
簡單使用Sqoop的命令
一 import命令 1.將mysql表test中的資料匯入hive的hivetest表,hive的hivetest表不存在 sqoop import connect jdbc mysql username hive password hive table test hive table hivet...
Linux下使Shell 命令脫離終端在後台執行
因為我購買的乙個國外主機居然開放了telnet許可權,因此我也使用telnet登入上去玩玩linux,但發現一關閉視窗就自動和主機斷開了,和windows的終端不一樣,所以就上網找啊找,找到了乙個從後台一直執行某個程式的方法。unix linux下一般比如想讓某個程式在後台執行,很多都是使用 在程式...