我的大資料之旅 Oozie執行shell指令碼任務

目錄

目標：通過oozie排程hdfs上的shell指令碼

步驟：1.解壓oozie官方案例模板

2.建立工作目錄

3.拷貝案例模板

4.建立shell指令碼

5.修改property檔案

6.修改workflow.xml

7.將整個job目錄上傳hdfs

8.執行job ​

效果圖：

[feng@hadoop129 oozie-4.0.0-cdh5.3.6]$ tar -zxf oozie-examples.tar.gz

[feng@hadoop129 shell]$ touch feng.sh

[feng@hadoop129 shell]$ vim feng.sh
[feng@hadoop129 shell]$
[feng@hadoop129 shell]$
[feng@hadoop129 shell]$ more feng.sh
#!/bin/bash
ssh feng@hadoop129 'echo "oozie invoked:hello, world" >> /home/feng/feng_oozie.log'

namenode=hdfs://hadoop130:8020

jobtracker=hadoop:8021
queuename=default
$            
shell action failed, error message[$]
incorrect output, expected [hello oozie] but was [$]
開啟oozie 頁面找到剛執行的job：
執行成功，檢視對應的shell指令碼列印日誌是否成功：
大功告成。

我的大資料之旅 Kafka環境搭建

3臺已安裝好jdk zookeeper的centos虛擬機器 2 解壓 feng hadoop129 software ls kafka 2.11 2.2.0.tgz feng hadoop129 software tar zxf kafka 2.11 2.2.0.tgz feng hadoop12...

我的資料工具學習之旅

今日終於完成了使用r語言做批量位址反地理編碼的嘗試，對比之前來說總共折騰了一小時，thank god,坑還不算多。這也是正式用r做出來第乙個真正自己需要的功能。至此，我也把最近主流的資料分析工具都體驗了一把，寫寫心得。去年在tableau的乙個小型活動上認識了乙個程式設計師，之前我一直在嘗試商業地理...

大資料執行環境的執行

1.azkaban 啟動 bin azkaban solo start.sh或絕對路徑方式執行azkaban solo start.sh指令碼 關閉 bin azkaban solo shutdown.sh 2.kafka 注意配置server.properties,此配置檔案用來配置kafka伺服...