解決spark shell輸出日誌資訊過多

2021-07-11 14:26:55 字數 810 閱讀 2276

當我們執行spark-shell的時候,會出現如下介面,如果覺得顯示資訊過多可通過修改conf資料夾下的log4j.properties檔案讓其只顯示警告資訊,而不顯示所有的資訊1。

進入到spark目錄/conf資料夾下,此時有乙個log4j.properties.template檔案,我們執行如下命令將其拷貝乙份為log4j.properties,並對log4j.properties檔案進行修改。

如上圖所示,將log4j.rootcategory=info, console中的info改為warn,儲存退出即可。

效果如下所示:

同樣,該方法也適用於pyspark

spark快速大資料分析,卡勞(karau,h.) ↩

解決spark shell輸出日誌資訊過多

當我們執行 spark shell的時候,會出現如下介面,如果覺得顯示資訊過多可通過修改conf資料夾下的 log4j.properties 檔案讓其只顯示警告資訊,而不顯示所有的資訊1。進入到spark目錄 conf資料夾下,此時有乙個log4j.properties.template檔案,我們執...

Linux後台執行python程式,輸出日誌

實際開發時,會常常有需要執行很長時間的python程式,這時最佳策略就是將它放在linux伺服器後台執行,並且及時更新訊息。1 基礎命令 nohup python u py log 2 1 2 其他 只記錄錯誤資訊 nohup python u py dev null 2 error.log 2 1...

解決Asp輸出亂碼問題

在乙個asp頁面中頁面正常的中文字元都沒有問題,但如果用asp程式輸出的話就顯示為亂碼 1.將檔案編碼更改為utf 8 2.在頁頭新增 language vbscript codepage 65001 3.在頁面title裡新增content type的meta指定頁面編碼 完整的 html測試是否...