linux 指令碼上傳檔案到hdfs日期重新命名

判斷檔案o.txt是否存在，存在繼續，不存在則輸出檔案不存在

判斷檔案o.txt內容是否為空 ，非空繼續執行命令將檔案o.txt上傳到遠端hdfs的test目錄下，

並且字尾按日期進行重新命名，空輸出檔案是空

檢視hdfs上資料夾命令

#檢視test目錄下的檔案

hdfs dfs -ls test 
#檢視test目錄下的o.txt檔案內容
hdfs dfs -cat test/o.txt
#上傳檔案到test目錄下(source - > target 目錄)
hdfs dfs -put /data/test/o.txt  test/o.txt
#刪除檔案test目錄下的o.txt
hdfs dfs -rmr test/o.txt
#在hdfs上建立目錄test資料夾
hdfs dfs -mkdir test
查詢所有曾經輸入的hdfs相關命令的歷史記錄
history | grep hdfs

if [ -f "/data/o.txt" ];then

echo "o.txt file exists"
if [ -s /data/o.txt ]; then
echo "o.txt file is not empty"
`hdfs dfs -put /data/o.txt  test/"o_"$(date +"%y%m%d")".txt"`
if [ $? -eq 0 ]
then echo "success"
else echo "false"
fielse
echo "o.txt file is empty"
fielse
echo "o.txt file not exists"
fi

paramiko上傳檔案到Linux

importparamiko transport paramiko.transport host 22 transport.connect username root password 123 sftp paramiko.sftpclient.from transport transport sft...

Hadoop之Flume採集檔案到hdfs

內容如下 定義三大元件的名稱,myagent可以自己定義 myagent.sources source1 myagent.sinks sink1 myagent.channels channel1 配置source元件 myagent.sources.source1.type spooldir 定義...

上傳檔案到linux亂碼問題

由於linux系統編碼一般設定為utf 8，而中文windows下通常預設編碼是gbk，因此經常需要將檔名或檔案內容編碼進行轉換，檔名編碼轉換軟體 convmv yum install convmv 使用此命令安裝 convmv f gbk t utf 8 r notest filename 使用此...