spark以standalone執行時的日誌清理

spark執行任務的日誌一直沒太大關注，原因是硬碟資源充足，除非任務出錯時才去看一下，但沒有清理這些日誌的習慣。直到最近遇到的乙個問題是，硬碟資源嚴重缺乏，不得不需要定時去清理日誌。

第一時間去看下spark本身的配置，是否支援定時清理日誌的選項，畢竟spark那麼成熟，相信很多人都面臨過這樣的問題。從spark-env.sh裡面看到spark_worker_opts和spark_history_opts這兩個選項下手，問下了google後，明確spark_worker_opts選擇有自動清理任務日誌的功能。

先在spark-env.sh中增加下述內容：

然後對spark進行重啟，清理日誌的任務已實現。

spark提交過程分析（standalone模式）

2.1.所有executor都反向註冊到driver上之後，driver結束sparkcontext初始化，會繼續執行我們編寫的 2.2.每執行乙個action就會建立乙個job，job會提交給dagscheduler 2.3 dagscheduler會採用自己的stage劃分演算法將job劃分為多...

spark以standalone執行時的日誌清理

spark執行任務的日誌一直沒太大關注，原因是硬碟資源充足，除非任務出錯時才去看一下，但沒有清理這些日誌的習慣。直到最近遇到的乙個問題是，硬碟資源嚴重缺乏，不得不需要定時去清理日誌。第一時間去看下spark本身的配置，是否支援定時清理日誌的選項，畢竟spark那麼成熟，相信很多人都面臨過這樣的問題。...

Spark（六） Spark計算模型

整個spark框架都是基於rdd運算元來進行計算的。what is rdd？resilient distributed dataset rdd 分布式彈性資料集，是spark上的乙個核心抽象 表示用於平行計算的，不可修改的，對資料集合進行分片的資料結構 簡單地，可以將rdd看成是spark平台上的通...