Flink調優 分割槽器策略

控制資料流向

在流進行轉換操作後，flink通過分割槽器來精確得控制資料流向。

1.隨機分割槽器shufflepartitioner

根據均勻分布對元素進行隨機劃分

@internal

public class shufflepartitionerextends streampartitioner
@override
public streampartitionercopy() 
@override
public string tostring() 
}

datastream.partitioncustom(partitioner, "somekey");

datastream.partitioncustom(partitioner, 0);

@internal

public class globalpartitionerextends streampartitioner;
@override
public int selectchannels(serializationdelegate> record,
int numberofoutputchannels) 
@override
public streampartitionercopy() 
@override
public string tostring() 
}

@internal

public class rebalancepartitionerextends streampartitioner;
@override
public int selectchannels(
serializationdelegate> record,
int numchannels) 
return returnarray;
}	private static int resetvalue(
int numchannels,
int newchannel) 
return 0;
}	public streampartitionercopy() 
@override
public string tostring() 
}

tomcat調優策略

tomcat調優問題對工作經驗兩三年的開發人員來說主要針對面試時問題 1 修改tomcat的連線模式 修改tomcat的配置檔案server.xml tomcat 聯結器的三種方式 bio nio 和 apr，三種方式效能差別很大，apr 的效能最優，bio 的效能最差。而 tomcat 7 使用的...

HIVE的調優策略

hive可以有很多方法進行調優，具體方法如下 本地模式 當要處理的資料很小時，完全分布式的啟動時間比作業時間要長時，可以使用本地模式 通過以下設定開啟本地模式 set hive.exec.mode.local.auto true default false set hive.exec.mode.lo...

SQL效能調優策略

1.建立索引 2.避免全表掃瞄 避免使用is null,is not null，這樣寫會放棄該字段的索引。如果會出現這種情況，盡量在設計表的時候設定預設值 比較操作符中 等避免使用，or 避免使用，可以使用union all進行替代 少用 in not int like萬用字元盡量將萬用字元放在後邊...