sparkStreaming 任務監控

背景

公司一般做業務監控都是採用實時任務的方式，實時任務的可用性就更加需要保障了。

監控指令碼

#!/bin/bash

#去azkaban資料庫獲取所有的實時任務名稱，stream開頭的
#stream.sql
#use azkaban;
#select name from azkaban.projects where name like 'stream_%' and active =1;
mysql -hhdh06.c.p.xyidc -uuser -ppasswd a.txt
grep stream >b.txt
sed -n '2,$p' a.txt|
while
read line
do   name=
`sed -n /$line/p b.txt `
if["$name"
!=""];
then
`sed -n /$line/p b.txt |
awk''
`     url=
`sed -n /$line/p b.txt |
awk''
`     echo
$(curl -l --connect-timeout 20  $/streaming >c.txt)
$(sed -i 's/}
)/a/g' c.txt)
active=`sed -n '/active batches/p' c.txt  |
awk -f"[()]"
''`         
echo active:$active
if[ -z $active];
then
curl
elif
[$active -gt $1];
then
curl
else
echo
fielse
echo 實時任務告警，未檢測到執行任務，實時任務$已停止執行！請檢查任務日誌！ 
curl
"http://***x:8080/alarm/sendsms.do?mobile=1515813***&type=0&producer=cdh&body=實時任務告警，未檢測到執行任務，實時任務$已停止執行！請檢查任務日誌！"
fidone

Spark Streaming入門詳解

背景 使用spark主要是使用spark streaming，spark streaming的魔力之所在於 1.流式處理，如今是乙個流處理時代，一切與流不相關的都是無效的資料。3.spark streaming本身是乙個程式，spark streaming在處理資料的時候會不斷感知資料。所以對構建複...

Spark Streaming 程式監控

官網中指出，spark中專門為sparkstreaming程式的監控設定了額外的途徑，當使用streamingcontext時，在web ui中會出現乙個 streaming 的選項卡，在此選項卡內，統計的內容展示如下 這其中包括接受的記錄數量，每乙個batch內處理的記錄數，處理時間，以及總共消耗...

spark streaming讀取kafka示例

spark streaming讀取kafka示例，其中 spark streaming優雅的關閉策略優化部分參考 如何管理spark streaming消費kafka的偏移量部分參考 spark向kafka中寫入資料部分參考 object demo 建立streamingcontext return...