**
oozie4.0.0安裝包
ext2.2包
存在在/home/casliyang/downloads/ext-2.2.zip
將oozie4.0.0安裝包解壓拷貝到:
/home/casliyang/oozie/oozie-4.0.0-cdh5.2.0
這也也是即將配置環境變數的oozie_home
配置環境變數
向/etc/profile中加入如下三行,注意加完回到原使用者後執行source /etc/profile
export oozie_home=/home/casliyang/oozie/oozie-4.0.0-cdh5.2.0
export oozie_config=$oozie_home/conf
export classpath=$classpath:$oozie_home/bin
將ext2.2.0和hadoop相關jar包加入war包,並發布到自帶的web server下
在$oozie_home/bin目錄下執行
生成oozie資料庫指令碼並執行
這裡使用的是自帶的derby資料庫
在$oozie_home/bin目錄下
執行以下命令建立資料庫指令碼
./ooziedb.sh create -sqlfile oozie.sql
通過以下命令執行sql指令碼初始化資料庫
./oozie-setup.sh db create -run -sqlfile $oozie_home/bin/oozie.sql
配置oozie
配置$oozie_home/conf/
oozie-site.xml
修改以下配置項,將值指向真實hadoop配置檔案路徑,實現oozie和hadoop的關聯:
oozie.service.hadoopaccessorservice.hadoop.configurations
*=/home/casliyang/hadoop2/hadoop-2.5.0-cdh5.2.0/etc/hadoop
comma separated authority=hadoop_conf_dir, where authority is the host:port of
the hadoop service (jobtracker, hdfs). the wildcard '*' configuration is
used when there is no exact match for an authority. the hadoop_conf_dir contains
the relevant hadoop *-site.xml files. if the path is relative is looked within
the oozie configuration directory; though the path can be absolute (i.e. to point
to hadoop client conf/ directories in the local filesystem.
配置 $oozie_home/conf/
oozie-default.xml 將
oozie.services屬性中的
org.apache.oozie.service.jobsconcurrencyservice值提到第乙個位置。
hdfs上建立共享目錄
在$hadoop_home/etc/hadoop/core-site.xml中加入以下配置,紅色的casliyang為使用者名稱,藍色的casliyang為組名,singlehadoop為oozie的host(注意不能用localhost,會報錯):
hadoop.proxyuser.casliyang.hosts
singlehadoop
hadoop.proxyuser.casliyang.groups
casliyang
啟動hadoop,該步驟不詳述。
在$oozie_home/bin目錄下執行:
casliyang@singlehadoop:~/oozie/oozie-4.0.0-cdh5.2.0/bin$
./oozie-setup.sh sharelib create -fs hdfs://singlehadoop:8020 -locallib $oozie_home/oozie-sharelib-4.0.0-cdh5.2.0-yarn.tar.gz
setting catalina_opts="$catalina_opts -xmx1024m"
log4j:warn please initialize the log4j system properly.
log4j:warn see for more info.
slf4j: class path contains multiple slf4j bindings.
slf4j: found binding in [jar:file:/home/casliyang/oozie/oozie-4.0.0-cdh5.2.0/libtools/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/staticloggerbinder.class]
slf4j: found binding in [jar:file:/home/casliyang/oozie/oozie-4.0.0-cdh5.2.0/libtools/slf4j-******-1.7.5.jar!/org/slf4j/impl/staticloggerbinder.class]
slf4j: see for an explanation.
slf4j: actual binding is of type [org.slf4j.impl.log4jlogge***ctory]
the destination path for sharelib is: /user/casliyang/share/lib/lib_20141121184647
啟動oozie
在$oozie_home/bin目錄下
前台執行oozie:
./oozied.sh run
後台執行oozie:
./oozied.sh start
檢視oozie網頁:
停止oozie:
./oozied.sh stop
頂
oozie 常見命令
oozie admin oozie http localhost 11000 oozie shareliblist pig 檢視共享庫pig具體的jar包 oozie admin oozie http localhost 11000 oozie shareliblist 檢視共享庫 oozie jo...
oozie排程引擎
oozie 是用於hadoop平台的開源的工作流排程引擎 統一排程hadoop系統中常見的mr任務啟動 hdfs操作 shell操作 hive操作等 使得複雜的依賴關係 時間觸發 事件觸發使用xml語言進行表達,開發效率提高 一組任務使用乙個dag來表示,使用圖形表達流程邏輯更加清晰 支援很多種任務...
Oozie學習總結
oozie是乙個管理hadoop作業 可伸縮 可擴充套件 可靠的工作流排程系統。主要有三大功能模組構成 workflow 工作流 定義job任務執行。coordinator 定時觸發workflow,週期性執行workflow bundle job 繫結多個coordinator,一起提交或觸發所以...