hadoop配置中的重要引數

2021-08-26 04:30:58 字數 906 閱讀 7460

引數 取值

備註fs.default.name

namenode的uri。

hdfs://主機名/

mapred.job.tracker

jobtracker的主機(或者ip)和埠

主機:埠

dfs.name.dir

namenode持久儲存名字空間及事務日誌的本地檔案系統路徑

當這個值是乙個逗號分割的目錄列表時,nametable資料將會被複製到所有目錄中做冗餘備份

dfs.data.dir

datanode存放塊資料的本地檔案系統路徑,逗號分割的列表

當這個值是逗號分割的目錄列表時,資料將被儲存在所有目錄下,通常分布在不同裝置上

mapred.system.dir

map/reduce框架儲存系統檔案的hdfs路徑(比如/hadoop/mapred/system/)

這個路徑是預設檔案系統(hdfs)下的路徑, 須從伺服器和客戶端上均可訪問

mapred.local.dir

本地檔案系統下逗號分割的路徑列表,map/reduce臨時資料存放的地方

多路徑有助於利用磁碟i/o

mapred.tasktracker..tasks.maximum

某一tasktracker上可執行的最大map/reduce任務數,這些任務將同時各自執行

預設為2(2個map和2個reduce),可依據硬體情況更改

dfs.hosts/dfs.hosts.exclude

許可/拒絕datanode列表

如有必要,用這個檔案控制許可的datanode列表

mapred.hosts/mapred.hosts.exclude

許可/拒絕tasktracker列表

如有必要,用這個檔案控制許可的tasktracker列表

Hadoop的引數配置說明

hadoop.tmp.dir hadoop臨時目錄,預設值 tmp hadoop fs.default.name 設定hadoop預設檔案系統,uri的形式,需要指定namenode的主機名和埠 dfs.replication 預設是3 dfs.block.size 預設64m dfs.data.d...

hadoop 配置相關引數

mapred.reduce.slowstart.completed.maps map完成多少百分比時,開始shuffle 當map執行慢,reduce執行很快時,如果不設定mapred.reduce.slowstart.completed.maps會使job的shuffle時間變的很長,map執行完...

HikariCP重要引數配置

hikaricp是spring framework 5.0的預設 資料庫連線池,這得益於他的高效能。但是如果配置不當,資料庫連線池也可能因影響到系統效能。初始化過程和連線建立邏輯 當hikaricp初始化時候,會將新增連線到池中,直到達到minimum idle的數量,此時保持這個狀態。當有新的連線...