什麼是Oozie 大資料任務排程框架

2021-08-25 08:59:25 字數 1051 閱讀 1965

oozie的工作流必須是乙個有向無環圖,實際上oozie就相當於hadoop的乙個客戶端,當使用者需要執行多個關聯的mr任務時,只需要將mr執行順序寫入workflow.xml,然後使用oozie提交本次任務,oozie會託管此任務流。

注意:使用oozie之前必須先啟動hdfs,yarn和jobhistory,這裡jobhistory一開始很容易忘~

l 啟動任務oozie job -oozie oozie_url -config job.properties_address -run

l 停止任務

oozie job -oozie oozie_url -kill jobid -oozie-oozi -w

l 提交任務

oozie job -oozie oozie_url -config job.properties_address -submit

l 開始任務

oozie job -oozie oozie_url -config job.properties_address -startjobid -oozie-oozi -w

l 檢視任務執**況

oozie job -oozie oozie_url -config job.properties_address -info jobid -oozie-oozi -w

說明: 所有的命令都是以oozie job -oozie oozie_url 開頭的-config 制定job.properties資料夾的位置,-run 檔案啟動後會返回乙個唯一的jobid,供之後使用。

Hadoop離線 oozie的任務排程

1.任務排程 在oozie當中,主要是通過coordinator 來實現任務的定時排程,與workflow類似的,coordinator 這個模組也是主要通過xml來進行配置即可,接下來就來看看如何配置coordinator 來實現任務的定時排程 coordinator 的排程主要可以有兩種實現方式...

大資料 什麼是大資料

1.什麼是資料 資料是事實或觀察的結果,是對客觀事物的邏輯歸納,是用於表示客觀事物的未加工的原始材料。資料經過加工之後就成為資訊。2.大資料的定義 麥肯錫給出的大資料定義是 大資料是指大小超過常規的資料庫工具獲取 儲存 管理和分析能力的資料集。但它同時強調,並不是說一定要超過特定的tb值的資料才能是...

大資料 什麼是大資料?

海量的資料 tb pb zb。高增長率 資料的形成速度 使用爬蟲 多樣化 資料是結構化 非結構化 半結構化。電商行業 電商行業是最早利用大資料進行精準營銷,它根據客戶的消費習慣提前生產資料 物流管理等,有利於精細社會大生產。由於電商的資料較為集中,資料量足夠大,資料種類較多,因此未來電商資料應用將會...