ssh提交 hadoop集群

2021-10-06 19:26:07 字數 725 閱讀 1138

ssh [email protected]

將檔案上傳集群檔案系統需切換到另一終端

scp /home/hadoop/apriori.jar [email protected]:/home/201700301147

將檔案傳回本機檔案系統需切換到另一終端

scp [email protected]:/home/201700301147/part-r-00000 /home/goodman/result

建立目錄

hadoop dfs -mkdir /user/201700301147/apriori2

刪除目錄

hadoop dfs -rm -r aprioir

遍歷hadoop dfs -ls /user/201700301147

集群檔案系統上傳集群hdfs

hdfs dfs -put bx-book-ratings.txt /user/201700301147/apriori2

集群hdfs傳回集群檔案系統

hadoop dfs -get /user/201700301147/apriori/freqitemsetoutput2/part-r-00000

hadoop jar apriori.jar (如jar包生成過程中沒指定執行類,則還需要在此處指定)

hadoop集群ssh免密登入

1.在master,node1,node2 中執行sudo apt install ssh sudo apt install rsync hadoop master ssh keygen t rsa 一直按回車 2.在 master master角色 執行,將 ssh 下的id rsa.pub公私作...

hadoop集群節點 ssh免密登入配置

vmware中有兩台centos客戶機 hadoop1和hadoop2,在客戶機hadoop1中通過如下命令登入hadoop2,將提示需要輸入hadoop2客戶機密碼。ssh hadoop2如果要做到hadoop1無需輸入密碼就能ssh登入到hadoop2,需要將hadoop1的公鑰註冊到hadoo...

Hadoop集群搭建(三) 配置SSH免金鑰登入

1,生成公鑰和私鑰 命令 root hadoop2 ssh keygen t rsa 2,檢視檔案 在 root ssh 目錄下會生成兩個檔案 3,將被管理機上剛才生產的id rsa.pub賦值成authorized keys 命令 root hadoop2 ssh cat id rsa.pub a...