當我們執行spark-shell的時候,會出現如下介面,如果覺得顯示資訊過多可通過修改conf資料夾下的log4j.properties檔案讓其只顯示警告資訊,而不顯示所有的資訊1。進入到spark目錄/conf資料夾下,此時有乙個log4j.properties.template檔案,我們執行如下命令將其拷貝乙份為log4j.properties,並對log4j.properties檔案進行修改。
如上圖所示,將log4j.rootcategory=info, console中的info改為warn,儲存退出即可。
效果如下所示:
同樣,該方法也適用於pyspark。
spark快速大資料分析,卡勞(karau,h.) ↩
解決spark shell輸出日誌資訊過多
當我們執行 spark shell的時候,會出現如下介面,如果覺得顯示資訊過多可通過修改conf資料夾下的 log4j.properties 檔案讓其只顯示警告資訊,而不顯示所有的資訊1。進入到spark目錄 conf資料夾下,此時有乙個log4j.properties.template檔案,我們執...
Linux後台執行python程式,輸出日誌
實際開發時,會常常有需要執行很長時間的python程式,這時最佳策略就是將它放在linux伺服器後台執行,並且及時更新訊息。1 基礎命令 nohup python u py log 2 1 2 其他 只記錄錯誤資訊 nohup python u py dev null 2 error.log 2 1...
解決Asp輸出亂碼問題
在乙個asp頁面中頁面正常的中文字元都沒有問題,但如果用asp程式輸出的話就顯示為亂碼 1.將檔案編碼更改為utf 8 2.在頁頭新增 language vbscript codepage 65001 3.在頁面title裡新增content type的meta指定頁面編碼 完整的 html測試是否...