sqoop的job做到每次免密登入的方式

2021-09-25 04:16:09 字數 807 閱讀 7041

說明:sqoop執行任務的時候會提示執行密碼，這樣的話在實際執行的時候會相對來說很麻煩，所有需要建立密碼檔案並指定–password-file 檔案，檔案最後還需要存放在hdfs上，許可權為400為唯讀許可權

在本地建立存放密碼的檔案：

echo -n "mysql中sqoop資料的操作員的密碼" >sqooppwd.pwd
注意：這個檔案裡面不得有任何乙個空格和換行，只能是一行。否則會報錯。

將剛才存放密碼的檔案上傳到hdfs上去，過程如下：

hdfs dfs -mkdir -p /sqoop/pwd


hdfs dfs -put sqooppwd.pwd /sqoop/pwd
注意：再次確認這個檔案中不得有任何乙個空格和換行，只能是一行。否則會報錯。

修改在hdfs上這個檔案的許可權為400。

hdfs dfs -chmod 400 /sqoop/pwd/sqooppwd.pwd
在sqoop的job中修改引數變數，例如如下：

sqoop job \


--create myjob \


--import 


--connect jdbc:mysql://mysql所在的機器的ip:3306/資料庫名稱 \


--username 使用者名稱 \


--password-file /sqoop/pwd/sqooppwd.pwd \

每次做到能力的頂峰 提高的秘訣

每次做到能力的頂峰 提高的秘訣 平等思維唐曾磊 提高的秘訣就是，每次做事情做到自己能力的頂峰。意思就是，只要自己能夠做得更好，那就盡量一次做到更好，自己做出來的工作是自己的能力之最，如果自己再做，不過是這個樣子了，在現有的能力水平下，自己已經沒有能力再把這件事情提高到更高了。當事情做到這樣的時候，自...

免密登入的「坑」

今天使用開發機進行免密配置，結果發現無論如何都不能登入，最後發現是配置有問題！由於authorized keys，在開發機是沒有的，所以直接使用vim建立檔案，將id rsa.pub的內容複製進去。神坑就出現了，由於免密登入需要被登入的機的.ss 件夾是700的許可權，authorized keys...

Linux windows的免密登入

2.windows與伺服器的免密登入 ssh keygen t rsa c admin 163.comlinux上預設生成的秘鑰檔案位置 root ssh id rsa.pub 複製公鑰到遠端伺服器，使用命令 ssh copy id i 使用者名稱 ssh id rsa.pub p 埠號 遠端伺服器...