並行度可以通過如下三種方式來設定，可以根據實際的記憶體、cpu、資料以及應用程式邏輯的情況調整並行度引數，增加任務的並行度，充分利用集群機器的計算能力，一般並行度設定為集群cpu總和的2-3倍。
1 在會產生shuffle的操作函式內設定並行度引數，優先順序最高
1.1 testrdd.groupbykey(24)
1.2 val rdd2 = rdd1.reducebykey(+ ,10)
val rdd3 = rdd2.map.filter.reducebykey(+)
1.3 重分割槽
coalesce和repartition都是對rdd進行重新分割槽。coalesce操作使用hashpartitioner進行重分割槽，第乙個引數為重分割槽的數目，第二個為是否shuffle，預設情況為false。repartition操作是coalesce函式第二個引數為true的實現。如果分割槽的數目大於原來的分割槽數，那麼必須指定shuffle引數為true,否則分割槽數不變。
rdd.coalesce(4,true)；
rdd.repartition(5);
2 **中配置「spark.default.parallelism」設並行度，優先順序次之
val conf = new sparkconf()
conf.set(「spark.default.parallelism」, 24)
3 在 「$spark_home/conf/spark-defaults.conf」 檔案中配置「spark.default.parallelism」的值，優先順序最低
spark.default.parallelism 24
Spark教程之Spark中併發度的概念
梳理一下spark中關於併發度涉及的幾個概念file，block，split，task，partition，rdd以及節點數 executor數 core數目的關係。輸入可能以多個檔案的形式儲存在 hdfs 上，每個 file 都包含了很多塊，稱為block。當 spark 讀取這些檔案作為輸入時，...
spark讀取MySQL的方式及併發度優化
前段時間用sparksession讀取mysql的乙個表的時候,出現耗時長,頻繁出現oom等情況,去網上查詢了一下,是因為用的預設讀取jdbc方式,單執行緒任務重,所以出現耗時長,oom等現象.這時候需要提高讀取的併發度.現簡單記錄下.看sparsession dataframereader原始碼,...
mysql 併發控制 mysql併發控制
mysql併發控制 當有多個查詢需要同時修改同乙個資料，就會產生併發控制的問題。mysql可以在兩個層面進行併發控制 伺服器層和儲存引擎層。mysql通過加鎖實現併發控制 鎖有兩類 讀鎖 共享鎖，即乙個讀鎖不會阻塞其它讀鎖，多個使用者可同時讀取同乙個資源，而不互相干擾。寫鎖 排他鎖，即乙個寫鎖會阻塞...