二、將這個包解壓到：/usr/spark 目錄下
三、進入目錄：/usr/spark/spark-2.1.0/bin 選擇需要啟動的指令碼，
例如python的shell：./pyspark
啟動成功後如下圖所示：
export spark_home=/usr/spark/spark-2.1.0
path=pa
th: spark_home/bin
這樣在任意目錄下都可以執行命令：pyspark
五、調整日誌級別：
1、進入 /usr/spark/spark-2.1.0/conf 目錄：
2、從 log4j.properties.template 檔案中複製乙份log4j.properties：
cp log4j.properties.template log4j.properties
3、找到下面這一行：
log4j.rootcategory=info, console
然後通過下面的設定降低日誌級別，只顯示警告及更嚴重的資訊：
log4j.rootcategory=warn, console
spark部署，環境搭建
spark 部署，環境搭建 部署spark 一 安裝 hadoop 1.改名 33 master 32 node1 34 node2 2.配置三者互相 ssh無密碼登陸 3.設定環境變數。配置配置檔案 logstash與kafka pgsql安裝 安裝psycopg wget tarxfpsycop...
Spark環境搭建之Spark On Yarn
注意 關閉之前的spark standalone集群 export server spark sbin stop all.sh 配置yarn歷史伺服器並關閉資源檢查 vim export servers hadoop etc hadoop yarn site.xml 配置yarn主節點的位置 yar...
搭建開發環境
1.py3 預設帶虛擬環境。scripts virtualenv.exe scripts virtualenv.exe file name2.啟動虛擬環境.windows下 cmd 下執行activate.bat 啟用虛擬環境 scripts activate.bat 退出環境 scripts de...