該文章內容包括四部分,分別為
1、排程工具crontab
2、後台執行nohup
3、軟連線
現在主要的排程工具有
1、airflow
2、azkaban
3、rundeck
4、linux自帶的crontab
crontab介紹
1.1在編寫指令碼的時候,按照規範;執行指令碼的時候,注意要有執行x許可權
第一行寫上直譯器 #!/bin/bash
以.sh結尾
1.2crontab命令
options:
-u define user
-e edit user's crontab #編輯
-l list user's crontab #檢視
-r delete user's crontab
-i prompt before deleting
-n set host in cluster to run users' crontabs
-c get host in cluster to run users' crontabs
-s selinux context
-x enable debugging
1.3crontab排程工具支援 只能支援到分鐘粒度
* * * * *:按順序分別代表分 小時 日 月 周
如果想要支援秒級別,可以在shell指令碼裡面for迴圈,建立test.sh指令碼,內容如下
[root@jd ~]# vi test.sh
[root@jd ~]# cat test.sh
#!/bin/bash
for((i=1;i<=6;i++));
do date
sleep 10s
done
exit
賦執行許可權
[root@jd ~]# chmod 744 test.sh
[root@jd ~]# ll
-rwxr--r-- 1 root root 81 nov 21 20:10 test.sh
編輯crontab,執行該指令碼,crontab內容為
#每10s輸出時間到test.log中
[root@jd ~]# crontab -l
* * * * * /root/test.sh >> /root/test.log
[root@jd ~]# tail -f test.log
thu nov 21 20:15:01 cst 2019
thu nov 21 20:15:11 cst 2019
有三種方式可以後台執行
./test.sh &
nohup ./test.sh & 手動啟動指令碼 看日誌 開發維護 測試
nohup ./test.sh > /root/test.log 2>&1 & 該種方式可以將日誌檔案重定向輸出到test.log中,一般用該種方式
4.1軟連線命令命令 ,建議路徑配置絕對路徑
ln -s 原path 目標path
4.2使用場景
4.2.1版本公升級,做軟連線,直接配置目標path即可
4.2.2cdh公升級 原檔案不見了 游標跳動
原因:原檔案被刪除
解決方式
找原檔案資料夾;
刪除快捷鍵檔案資料夾--》重新做新的軟連線 高版本
4.2.3cdh會生成日誌檔案到系統盤,將日誌檔案移動到資料盤,並配置軟連線
系統盤 / 50g
資料盤 /data01 2t
cdh log :#cdh缺省會生成日誌到系統盤,但是系統盤容量有限,需要將日誌檔案移動到資料盤
/var/log/hbase/***.log 1g
/var/log/hbase/***.log1 1g
.../var/log/hbase/***.log10 1g
---- 11g
先將程式停止一下,暫停生成日誌
mkdir /data01/log/
移動系統盤中的日誌檔案到資料盤
mv /var/log/hbase /data01/log/
配置資料盤的日誌檔案目錄到系統生成日誌目錄的軟連線
ln -s /data01/log/hbase /var/log/hbase
切記,一定要設定許可權(原檔案跟軟連線的檔案都要設定許可權) chmod chown
如果忘記許可權,可以檢視集群中另外一台的許可權
實在不行就設定許可權(一了百了):777
Linux基本命令(五)
airflow 用得少 azkaban 用的較多 rundeck 用的較多 linux自帶的crontab root hadoop001 vi test.sh root hadoop001 ll total 8 rw 1 root root 1258 nov 320 56 anaconda ks.c...
linux基本命令(五)
rm 刪除命令 rm options name.引數 刪除檔案可以直接使用rm命令,若刪除目錄則必須配合選項 r 例如 刪庫跑路 寶 rm rf 刪除當前目錄下的所有檔案及目錄,命令行為 rm r 文字查詢 grep 根據模式搜尋文字,並將符合模式的文字行顯示出來。pattern 文字字元和正規表示...
Linux基本命令總結(五)
接上篇 21,在lunix系統裡,檔案或目錄的許可權的掌控以擁有者及所訴群組來管理。可以使用chgrp指令取變更檔案與目錄所屬群組,這種方式採用群組名稱或群組識別碼都可以。chgrp命令就是change group的縮寫!要被改變的組名必須要在 etc group檔案內存在才行。1 命令格式 chg...