Oozie學習總結

2021-09-29 02:43:41 字數 1000 閱讀 7357

oozie是乙個管理hadoop作業、可伸縮、可擴充套件、可靠的工作流排程系統。

主要有三大功能模組構成:

workflow(工作流):定義job任務執行。

coordinator:定時觸發workflow,週期性執行workflow

bundle job:繫結多個coordinator,一起提交或觸發所以coordinator

我們正常的乙個作業:

hql — 儲存hive指令碼

shell — 儲存的是shell指令碼

workflow.xml — 定義工作流,多指令碼執行順序,引數,併發等

job.properties — 定義啟動終止時間,指令碼裡面需要用到的變數;

coordinator — 定義工作流的執行頻率,以及部分 時間 (t-1day, month之類的)

oozie也是mr,只不過只執行了map,不用shuffle。

啟動任務: oozie job -oozie oozie_url -config job.properties_address -run

停止任務: oozie job -oozie oozie_url -kill jobid -oozie-oozi -w

提交任務:oozie job -oozie oozie_url -config job.properties_address -submit

開始任務:oozie job -oozie oozie_url -config job.properties_address -startjobid -oozie-oozi -w

檢視任務執**況:oozie job -oozie oozie_url -config job.properties_address -info jobid -oozie-oozi -w

說明: 所有的命令都是以oozie job -oozie oozie_url 開頭的-config 制定job.properties資料夾的位置,-run 檔案啟動後會返回乙個唯一的jobid,供之後使用。

oozie作業狀態:

Oozie提交作業總結

最常用的就是通過命令列方式提交,見yarn和hdfs的呼叫方式彙總中的 使用oozie提交yarn作業環節。使用rest的方式顯然更通用,當然原理與上述完全一致。首先在hdfs上建立相應工作空間目錄 user workspaces,放置oozie要用到的workflow.xml,並建立lib資料夾,...

oozie 常見命令

oozie admin oozie http localhost 11000 oozie shareliblist pig 檢視共享庫pig具體的jar包 oozie admin oozie http localhost 11000 oozie shareliblist 檢視共享庫 oozie jo...

oozie排程引擎

oozie 是用於hadoop平台的開源的工作流排程引擎 統一排程hadoop系統中常見的mr任務啟動 hdfs操作 shell操作 hive操作等 使得複雜的依賴關係 時間觸發 事件觸發使用xml語言進行表達,開發效率提高 一組任務使用乙個dag來表示,使用圖形表達流程邏輯更加清晰 支援很多種任務...