spark執行任務的日誌一直沒太大關注，原因是硬碟資源充足，除非任務出錯時才去看一下，但沒有清理這些日誌的習慣。直到最近遇到的乙個問題是，硬碟資源嚴重缺乏，不得不需要定時去清理日誌。
第一時間去看下spark本身的配置，是否支援定時清理日誌的選項，畢竟spark那麼成熟，相信很多人都面臨過這樣的問題。從spark-env.sh裡面看到spark_worker_opts和spark_history_opts這兩個選項下手，問下了google後，明確spark_worker_opts選擇有自動清理任務日誌的功能。
先在spark-env.sh中增加下述內容：
spark_worker_opts="-dspark.worker.cleanup.enabled=true -dspark.worker.cleanup.interval=1800 -dspark.worker.cleanup.appdatattl=3600"然後對spark進行重啟，清理日誌的任務已實現。
spark提交過程分析（standalone模式）
2.1.所有executor都反向註冊到driver上之後，driver結束sparkcontext初始化，會繼續執行我們編寫的 2.2.每執行乙個action就會建立乙個job，job會提交給dagscheduler 2.3 dagscheduler會採用自己的stage劃分演算法將job劃分為多...
spark以standalone執行時的日誌清理
spark執行任務的日誌一直沒太大關注，原因是硬碟資源充足，除非任務出錯時才去看一下，但沒有清理這些日誌的習慣。直到最近遇到的乙個問題是，硬碟資源嚴重缺乏，不得不需要定時去清理日誌。第一時間去看下spark本身的配置，是否支援定時清理日誌的選項，畢竟spark那麼成熟，相信很多人都面臨過這樣的問題。...
Spark（六） Spark計算模型
整個spark框架都是基於rdd運算元來進行計算的。what is rdd？resilient distributed dataset rdd 分布式彈性資料集，是spark上的乙個核心抽象 表示用於平行計算的，不可修改的，對資料集合進行分片的資料結構 簡單地，可以將rdd看成是spark平台上的通...