使用 oozie 排程 mapreduce 任務
找到乙個可以執行的 mapreduce 任務的 jar 包 ( 可以用官方的，也可以是自己寫的 ) 。
看到 ： 5 個東西
解釋 ：
job.properties ：配置資訊
job-with-config-class.properties ：
lib ：我們要執行的 jar 包放在這個裡面
workflow-with-config-class.xml ：
workflow.xml ：工作流詳情
** ：
cd /root/hadoop
hdfs dfs -mkdir -p /wc/input
hdfs dfs -put aa.txt /wc/input
cd /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce
yarn jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar wordcount /wc/input/aa.txt /wc/output
正確結果 ：
# hdfs 訪問路徑
namenode=hdfs://node01:8020
# mr 訪問路徑
jobtracker=linux02:8032
# 工作流的名字
queuename=default
# 本工作流的配置檔案的路徑
$/user/$/$/map-reduce/workflow.xml
# mr 輸出路徑( 先刪除這個路徑，再把輸出檔案輸出到這裡 )
outputdir=map-reduce
** ：
"uri:oozie:workflow:0.2" name=
"map-reduce-wf"
>
"mr-node"/>
"mr-node"
>$$
<
!-- mr 的輸出路徑，先刪除這個路徑，然後才能把結果輸出到這裡 -->
"$/output/"/>
<
!-- 工作流的名字 -->
mapred.job.queue.name
$<
!-- 配置排程mr任務時，使用新的api -->
true
mapred.reducer.new-api
true
<
!-- 指定 job key 輸出型別 -->
mapreduce.job.output.key.class
org.apache.hadoop.io.text
<
!-- 指定 job value 輸出型別 -->
mapreduce.job.output.value.class
org.apache.hadoop.io.intwritable
<
!-- 指定輸入路徑 -->
mapred.input.dir
/input/
<
!-- 指定輸出路徑 -->
mapred.output.dir
/output/
<
!-- 指定map類 -->
mapreduce.job.map.class
<
!-- 指定 reduce 類 -->
mapreduce.job.reduce.class
org.apache.hadoop.examples.wordcount$intsumreducer
mapred.map.tasks
1"end"/>
"fail"/>
"fail"
>
map/reduce failed, error message[$]
"end"/>
Quartz任務排程快速入門5
使用crontrigger crontrigger 能夠提供比 trigger 更有具體實際意義的排程方案，排程規則基於 cron 表示式，crontrigger 支援日曆相關的重複時間間隔 比如每月第乙個周一執行 而不是簡單的週期時間間隔。因此，相對於 trigger而言，crontrigger在...
hbase中執行mr任務
1.檢視hbase的mr任務的執行 bin hbase mapredcp 2.環境 永久生效,在 etc profile vi etc profile export hbase home opt hbase export hadoop home opt hadoop 並在hadoop env.sh中...
Linux任務排程
任務排程 是指系統在某個時間執行的特定的命令或程度。任務排程分類 i.系統工作 有些重要的工作必須周而復始地執行。如病毒掃瞄等。ii.個別使用者工作 個別使用者可能希望執行某些程式。設定任務排程檔案 etc crontab 設定個人任務排程 crontab e 希望，每分去執行可以在crontab ...