spark常用引數解釋及建議值
spark的預設配置檔案位於堡壘機上的這個位置: $spark_conf_dir/spark-defaults.conf，使用者可以自行檢視和理解。
需要注意的是，預設值優先順序最低，使用者如果提交任務時或者**裡明確指定配置，則以使用者配置為先。 使用者再理解引數含義的基礎上，可根據具體任務情況調整引數。
以下常用引數配置均可以通過 --conf ***=y 方式使用，其他引數以及介紹請參考
spark預設使用jdk7，使用jdk8的話新增如下配置：
dockerlinuxcontainer的使用例子
./bin/spark-submit --class org.apache.spark.examples.sparkpi \
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1 \
--conf spark.executorenv.yarn.nodemanager.container-executor.class=dockerlinuxcontainer \
--conf spark.executorenv.yarn.nodemanager.docker-container-executor.image-name=bdp-docker.jd.com:5000/wise_algorithm:latest \
$spark_home/examples/jars/spark-examples_2.11-2.1.0.jar \
10
只需要在之前提交spark的任務中加上
--conf spark.executorenv.yarn.nodemanager.container-executor.class=dockerlinuxcontainer \
--conf spark.executorenv.yarn.nodemanager.docker-container-executor.image-name=bdp-docker.jd.com:5000/wise_algorithm:latest \
執行模式必須是yarn cluster(不支援 spark-shell /pyspark等互動式環境)
--master yarn \
--deploy-mode cluster \
其中bdp-docker.jd.com:5000/wise_algorithm:latest為映象名稱
Spark例項建立及引數解釋
def get sparksession conf sparkconf setmaster yarn set spark.executor.memory 2g set hive.exec.dynamic.partition true set spark.sql.autobroadcastjointh...
tensorflow 常用方法及引數解釋
tf.nn.conv2d tf.nn.conv2d input,filter,strides,padding,use cudnn on gpu none,name none filter 卷積核大小，卷積核的高度，卷積核的寬度，影象通道數，卷積核個數 通道數應該與input的通道數相同 stride...
Docker引數常用方法及解釋
docker create和run的區別 create 建立乙個容器 但是不啟動 run 建立容器並啟動容器 docker cp 容器名字 路徑 拷貝docker容器中的目錄或檔案到宿主機當前路徑 注意這個.docker ps a no trunc no trunc顯示完整commod指令 volu...