sbin/start-all.sh 啟動所有的hadoop守護程序。包括namenode、 secondary namenode、datanode、resourcemanager、nodemanager
sbin/stop-all.sh 停止所有的hadoop守護程序。包括namenode、 secondary namenode、datanode、resourcemanager、nodemanager
sbin/start-dfs.sh 啟動hadoop hdfs守護程序namenode、secondarynamenode、datanode
sbin/stop-dfs.sh 停止hadoop hdfs守護程序namenode、secondarynamenode和datanode
./bin/pysaprk --master local[4] 本地模式啟動spark python語言的shell，4是4個執行緒
如果嫌執行日誌顯示太多，可以調整日誌顯示級別，找到日誌檔案修改，log4j。rootcategory=error， console
exit() 退出pyspark shell
hadoop啟動頁面 hadoop啟動流程
1 集群分布 啟動hadoop流程 1 關閉防火 機器 node01 04 命令 service iptables stop 2 啟動zk 機器 node02 04 命令 zkserver.sh start 3 啟動hadoop 機器 node01 start dfs.sh hadoop daemo...
Spark 啟動方式
1 spark 提交任務方式 spark on yarn bin spark submit class org.apache.spark.examples.sparkpi master yarn cluster num executors 3 driver memory 4g executor me...
Spark 啟動方式
spark 提交任務方式 spark on yarn bin spark submit class org.apache.spark.examples.sparkpi master yarn cluster num executors 3 driver memory 4g executor memo...