linux的系統時間可以很容易的被修改：date -s *******
那麼就需要保證所有機器的時間一致性。我們的線上機器是所有機器與一台校準器保持一致：
/usr/sbin/ntpdate 10.0.1.128
那麼應用伺服器的機器都是校準過的，但是我們的hadoop集群時間比較參差不齊，原因是因為cdh管理集群時需要把集群的ntpd服務全部開啟，cdh自己內部有時間校準規則，但是ntpd服務開啟後ntpdate命令就無法執行了，所以需要定時關閉ntpd來實現同步，**如下：
work_list="機器列表"
for arg in $work_list ; do
ping -c 1 $arg || continue
ssh -t $arg "sudo /sbin/service ntpd stop && sudo /usr/sbin/ntpdate 10.0.1.128 && sudo /sbin/service ntpd start"
done
加入crontab裡每天校驗一次，ok了
Spark Streaming入門詳解
背景 使用spark主要是使用spark streaming，spark streaming的魔力之所在於 1.流式處理，如今是乙個流處理時代，一切與流不相關的都是無效的資料。3.spark streaming本身是乙個程式，spark streaming在處理資料的時候會不斷感知資料。所以對構建複...
Spark Streaming 程式監控
官網中指出，spark中專門為sparkstreaming程式的監控設定了額外的途徑，當使用streamingcontext時，在web ui中會出現乙個 streaming 的選項卡，在此選項卡內，統計的內容展示如下 這其中包括接受的記錄數量，每乙個batch內處理的記錄數，處理時間，以及總共消耗...
spark streaming讀取kafka示例
spark streaming讀取kafka示例，其中 spark streaming優雅的關閉策略優化部分參考 如何管理spark streaming消費kafka的偏移量部分參考 spark向kafka中寫入資料部分參考 object demo 建立streamingcontext return...