在前面的文章中，我們有簡單提到過 shell or python 排程hive 的 偽** ，今天我們在豐富下 這些偽**
說明，在實際生產環境中，可能會部署一些成熟的作業流程排程引擎 oozie or azkaban 等 ，更多詳細資料 請自行查閱
今天我們有三段shell 指令碼為** ，**有參考網上教學資料
1. crontab
*/10 * * * * root /opt/main.sh
2，mapreduce_job.sh 指令碼
cmd = "hadoop jar example.jar ***-d......."
$cmd
code=$?
while[$code !=0];do
echo "run job failed ,run submit ......"
$cmd
done
3，hive_job.sh 指令碼
cmd =「」hive -e \" use mydatabase ;alter table t add if not exists partition (pt = "20160719") location '/gr/data/20160719;
select count(*) from t where pt = '20160719'\'' ''
$cmd
code=$?
while [$code!=0];do
echo "run job failed ,run submit ......"
$cmd
done
4, main.sh 建立依賴關係
sh mapreduce_job.sh
sh hive_job.sh
費用流 作業分配
暑假裡，總有某些同學由於貪玩而忘記做作業。這些人往往要等到暑假快結束時才想起堆積如山的作業，但在這最後幾天的時間裡把這些作業做完已經不太現實了，於是 志同道合 的他們想出了乙個妙招。假設現在有n科作業，他們把第i科作業按作業量平均分成ai份，他們總共有m個人，第j個人只願意做其中任意的bj份作業，而...
網路流 費用流
這個好像不考 沒事可以騙分 費用流，顧名思義，就是有費用的流，也就是說，給乙個網路流圖中的每條弧增加乙個單位流量費用。一般來說求解的費用流都是最大流最小費用。好像沒什麼好bb的 這裡推薦使用zkw演算法求解最小費用流，看著 理解就行，應該還是很好理解的。zkw演算法在稠密圖上跑得飛快，在稀疏圖上還不...
IO流 記憶體流
記憶體流 bytearrayinputstream bytearrayoutputstream chararrayinputstream charoutputstream stringreader stringwriter 目的 將資料臨時存放在陣列中 相當於記憶體中 tips 上面的writer ...