對於spark應用來說，資源是影響spark應用執行效率的乙個重要因素。當乙個長期執行的服務，若分配給它多個executor，可是卻沒有任何任務分配給它，而此時有其他的應用卻資源緊張，這就造成了很大的資源浪費和資源不合理的排程。
動態資源排程就是為了解決這種場景，根據當前應用任務的負載情況，實時的增減executor個數，從而實現動態分配資源，使整個spark系統更加健康。
首先需要對yarn進行配置，使其支援spark的shuffle service。
修改每台集群上的yarn-site.xml：
- 修改yarn.nodemanager.aux-servicesname>mapreduce_shuffle,spark_shufflevalue>property>- 增加yarn.nodemanager.aux-services.spark_shuffle.classname>org.apache.spark.network.yarn.yarnshuffleservicevalue>property>spark.shuffle.service.portname>7337value>property>2、spark的配置
配置$spark_home/conf/spark-defaults.conf，增加以下引數：
使用spark-sql on yarn執行sql，動態分配資源。以yarn-client模式啟動thriftserver：
cd $spark_home/sbin/./start-thriftserver.sh \--master yarn-client \--conf spark.driver.memory=10g \--conf spark.shuffle.service.enabled=true \--conf spark.dynamicallocation.enabled=true \--conf spark.dynamicallocation.minexecutors=1 \--conf spark.dynamicallocation.maxexecutors=300 \--conf spark.dynamicallocation.sustainedschedulerbacklogtimeout=5s從0到1搭建大資料平台之計算儲存系統
從0到1搭建大資料平台之排程系統
從0到1搭建大資料平台之資料採集系統
如何從0到1搭建大資料平台
如何重啟Cloudera Manager？
為什麼重啟 突然發現clouderamanager的webui訪問不了了 我使用netstat看了一下我的webui監聽埠，發現尼瑪n多close wait，網上查了一下是socket關閉有問題導致n多掛起鏈結。原因並如何解決 重啟指令碼 opt cloudera manager etc init....
linux php fpm 如何重啟
1 啟動php fpm data2 乙個簡單直接的重啟方法 先檢視php fpm的master程序號 ps aux grep php fpmroot 21891 0.0 0.0 112660 960 pts 3 r 16 18 0 00 grep color auto php fpm3 重啟php ...
如何平滑「重啟「」mysql
注意標題中重啟是帶了引號的 生產環境中的mysql server,一般情況下，是要盡量避免重啟的 但又時間卻又面臨這種場景 mysql的慢日誌，錯誤日誌需要定時切割出來。一些影響效能的引數需要微調，我們希望mysql能平滑地載入新配置而不中斷服務 其實，只要給mysqld程序傳送 hup訊號即可，m...