jobmanger.rpc.address jm的位址。
jobmanager.rpc.port jm的埠號。
jobmanager.heap.mb jm的堆記憶體大小。不建議配的太大，1-2g足夠。
taskmanager.numberoftaskslots slot數量。在yarn模式使用的時候會受到yarn.scheduler.maximum-allocation-vcores值的影響。此處指定的slot數量如果超過yarn的maximum-allocation-vcores，flink啟動會報錯。在yarn模式，flink啟動的task manager個數可以參照如下計算公式：
num_of_tm = ceil(parallelism / slot)HBase 系統調優指南
本篇面試內容劃重點 bloomfilter 預分割槽 資料傾斜 rowkey 設計。hbase 雖然沒有字段資訊也沒有型別的限制，但是建表的時候還是有很多需要注意的地方的，合理地配置表資訊可以使你寫的程式更高效地使用 hbase bloomfilter 布隆過濾器 預設值為 none，布隆過濾器的作...
spark調優 shuffle調優
基於spark1.6 引數可以通過 new sparkcontext set 來設定，也可以通過命令的引數設定 conf spark.shuffle.file.buffer 預設值 32k 引數說明 該引數用於設定shuffle write task的bufferedoutputstream的buf...
Spark Spark調優 資源調優
spark在乙個executor的記憶體分為三塊，1.一塊是execution記憶體 2.一塊是storge 記憶體 3.一塊是其他記憶體 執行記憶體是執行記憶體，加入，聚合都是在這部分記憶體中執行.shuffle的資料也會先快取在這個記憶體中，滿了再寫入磁碟，能減少io，其實地圖過程也是在這個記憶...