sparkstreaming並行度屬性設定
spark.streaming.blockinterval：該屬性是對batchinterval的進一步細化切分。將乙個batchinterval的資料喜歡切分成更小的block，乙個block對應乙個spark partition。
batchinterval的資料對應rdd
blockinterval的資料對應rdd中的partition
所以sparkstreaming中partition的數量公式如下：
partition個數 = batchinterval / blockinterval
建議：blockinterval的大小不要小於50ms，如果資料太小，那麼處理資料所花費的時間遠遠小於啟動乙個執行緒所需要的時間，那麼相當於使用大炮打蚊子。
預設情況下，blockinterval = 200ms，如果batchinterval = 5s，那麼partition個數 = batchinterval / blockinterval = 25，也就是有25個partition，但是當乙個batchinterval中資料過少，例如只有<25個數的資料，那麼是分不成25個partition的，如下圖，只有3個，有時只2個partition。
Spark並行度設定總結
spark效能調優之合理設定並行度 1.spark的並行度指的是什麼？spark作業中，各個stage的task的數量，也就代表了spark作業在 各個階段stage的並行度！當分配完所能分配的最大資源了，然後對應資源去調節程式的並行度，如 果並行度沒有與資源相匹配，那麼導致你分配下去的資源都浪費掉...
flink並行度設定問題
之前寫過一篇文章，介紹flink的並行度問題 並行度的設定有幾種，按優先順序先後依次是 公司用的flink是基於開源改造的，跟開源還是有些區別，使用過程中也碰到一些問題，這裡簡單總結下。有兩個跟並行度相關的配置 任務啟動的時候，slot數量 numberoftaskmanagers numberof...
flink slot 與並行度與堆記憶體設定
1 taskmanager.numberoftaskslots fink conf.yaml 這個引數指定了每個任務管理器，最大提供的併發數。一般根據cpu core來指定，可以設定等於cpu cores數或者為一半 此引數設定好了，啟動集群，基本上總槽位數就確定了 該引數 taskmanager數...