1）調整shell日誌的資訊：
在conf下建立乙個 log4j.properties的檔案來管理日誌的設定，後將 log4j.rootcategory=info,console 修改為 log4j.rootcategory=warn,console
2)使用ipython
安裝好 ipython,然後，啟動時，將 ipython=1，即 $ ipython=1 bin/pyspark ，也可以在 ~/.bashrc增加 export ipython=1 。以後，就可以直接使用 命令 bin/pyspark即可。
3）執行 python
spark面試總結1
粗粒度模式 coarse grained mode 每個應用程式的執行環境由乙個dirver和若干個executor組成，其中，每個executor占用若干資源，內部可執行多個task 對應多少個 slot 應用程式的各個任務正式執行之前，需要將執行環境中的資源全部申請好，且執行過程中要一直占用這些...
Spark 模型總結
註明 以及相關資料均來自scalable machine learning from berkelyx，只是個人總結使用，侵權即刪 mr的價值體現在對大資料集的分布式處理上。如下面的圖例 來自scalable machine learning from berkelyx 將大規模的文件先分開成不同的...
spark 課程總結
1.乙個階段的若干task組成乙個taskset，乙個excutor可以併發執行的多少個task由executor cores決定。2.除非用checkpoint，否則各階段的rdd的資料都儲存到記憶體裡不釋放。spark sql需要的記憶體如果只有乙個階段的shuffle，如group by，各e...