Spark的日誌配置

在測試spark計算時，將作業提交到yarn（模式–master yarn-cluster）上，想檢視print到控制台這是imposible的，因為作業是提交到yarn的集群上，so 去yarn集群上看日誌是很麻煩的，但有特別想看下print的資訊，方便除錯或者別的目的

在spark的conf目錄下，把log4j.properties.template修改為log4j.properties，原來的內容如下：

#set everything to be logged to the console

log4j.rootcategory=info, console

#settings to quiet third party logs that are too verbose

log4j.logger.org.spark-project.jetty=warn

log4j.logger.org.spark-project.jetty.util.component.abstractlifecycle=error

log4j.logger.org.apache.spark.repl.sparkimain$exprtyper=info

log4j.logger.org.apache.spark.repl.sparkiloop$sparkiloopinterpreter=info

把log4j.rootcategory=info, console改為log4j.rootcategory=warn, console即可抑制spark把info級別的日誌打到控制台上。如果要顯示全面的資訊，則把info改為debug。

如果希望一方面把**中的println列印到控制台，另一方面又保留spark 本身輸出的日誌，可以將它輸出到日誌檔案中

上面的操作，spark的日誌一方面列印到控制台，一方面寫入到/home/hadoop/spark.log中了，這是日誌的繼承特性，後面再來改進，目前把log4j.rootcategory=info, console，file改為log4j.rootcategory=info, file即可