引數 取值
備註fs.default.name
namenode的uri。
hdfs://主機名/
mapred.job.tracker
jobtracker的主機(或者ip)和埠
主機:埠
dfs.name.dir
namenode持久儲存名字空間及事務日誌的本地檔案系統路徑
當這個值是乙個逗號分割的目錄列表時,nametable資料將會被複製到所有目錄中做冗餘備份
dfs.data.dir
datanode存放塊資料的本地檔案系統路徑,逗號分割的列表
當這個值是逗號分割的目錄列表時,資料將被儲存在所有目錄下,通常分布在不同裝置上
mapred.system.dir
map/reduce框架儲存系統檔案的hdfs路徑(比如/hadoop/mapred/system/)
這個路徑是預設檔案系統(hdfs)下的路徑, 須從伺服器和客戶端上均可訪問
mapred.local.dir
本地檔案系統下逗號分割的路徑列表,map/reduce臨時資料存放的地方
多路徑有助於利用磁碟i/o
mapred.tasktracker..tasks.maximum
某一tasktracker上可執行的最大map/reduce任務數,這些任務將同時各自執行
預設為2(2個map和2個reduce),可依據硬體情況更改
dfs.hosts/dfs.hosts.exclude
許可/拒絕datanode列表
如有必要,用這個檔案控制許可的datanode列表
mapred.hosts/mapred.hosts.exclude
許可/拒絕tasktracker列表
如有必要,用這個檔案控制許可的tasktracker列表
Hadoop的引數配置說明
hadoop.tmp.dir hadoop臨時目錄,預設值 tmp hadoop fs.default.name 設定hadoop預設檔案系統,uri的形式,需要指定namenode的主機名和埠 dfs.replication 預設是3 dfs.block.size 預設64m dfs.data.d...
hadoop 配置相關引數
mapred.reduce.slowstart.completed.maps map完成多少百分比時,開始shuffle 當map執行慢,reduce執行很快時,如果不設定mapred.reduce.slowstart.completed.maps會使job的shuffle時間變的很長,map執行完...
HikariCP重要引數配置
hikaricp是spring framework 5.0的預設 資料庫連線池,這得益於他的高效能。但是如果配置不當,資料庫連線池也可能因影響到系統效能。初始化過程和連線建立邏輯 當hikaricp初始化時候,會將新增連線到池中,直到達到minimum idle的數量,此時保持這個狀態。當有新的連線...