(1)oozie根目錄下
找到 oozie-examples.tar.gz
(2)解壓tar -zxvf oozie-examples.tar.gz 生成
example
資料夾[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz
(3)拷貝(2)新生成的examples到
hdfs
的使用者家目錄下
(4)檢視examples裡面內容
,三個目錄主要功能及截圖如下
官方自帶的workflow的案例,有
input-data:輸入的資料
src:原始碼包
(5)配置案例自帶的mapreduce程式
檢視其中乙個mao-reduce案例,裡面有五個檔案:
job.properties:兩個作用:指定workflow的位址 宣告相關變數
namenode=主機名
jobtracker 埠為8032(就是resourcemanger位址)
queuename佇列名稱不改
examplesroot
原有內容
修改下面內容 修改了namenode和
jobtracker
兩處
lib存放jar包
【不用修改】
workflow.xml:實際執行的workflow【執行該案例這個配置不用修改】
prepare標誌作用對提前刪除輸出目錄
.輸出目錄同輸入目錄同建立在/user/hadoop/examples下面(如下圖)
configuration標誌對
job-with-config-class.properties【不修改】
workflow-with-config-class.xml【不修改】
(6)修改oozie-site.xml
修改前內容
該屬性修改為hadoop的配置檔案
注意: *=不能刪除
(7)重啟oozie
[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop
[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start
(8)再次提交
命令列介面
oozie圖形介面
(9)總結
第一點:執行時指定的job.properties檔案是本地的,不是hdfs上面的,不過建議修改完該properties檔案最好重新上次,把整個包重新上傳
第二點:執行乙個workflow 啟動了兩個
mapreduce
乙個是oozie:
launcher
用於對workflow
進行封裝(封裝程式只有
map任務)
乙個是oozie:
action
執行的mapreduce
利用8088埠檢視
只有map
任務
Oozie 多指令碼邏輯順序執行
oozie順序執行sh指令碼。依次執行p1.sh和p2.sh。每個裡面都是簡單的列印資訊。如下 p1.sh grq hadoop102 shell more p1.sh bin bash echo tmp p1.log sbin ifconfig tmp p1.log echo date tmp p...
夜生活首席執行官
2019年4月,為促進夜間經濟發展,c市成為首個建立 夜間區長 和 夜生活首席執行官 制度的城市。夜間區長 是由各區分管區長擔任,負責統籌協調夜間經濟發展,而 夜生活首席執行官 則鼓勵各區公開招聘具有夜間經濟相關行業管理經驗的人員擔任。目前,c市已經任命10多位 夜生活首席執行官 作為c市普陽區任命...
我的大資料之旅 Oozie執行shell指令碼任務
目錄 目標 通過oozie排程hdfs上的shell指令碼 步驟 1.解壓oozie官方案例模板 2.建立工作目錄 3.拷貝案例模板 4.建立shell指令碼 5.修改property檔案 6.修改workflow.xml 7.將整個job目錄上傳hdfs 8.執行job 效果圖 feng hado...