黑猴子的家 Hadoop 修改本地臨時檔案儲存目錄

1、停止程序，按照順序停止

[victor@node1 hadoop-2.8.2]$ sbin/yarn-daemon.sh stop nodemanager

[victor@node1 hadoop-2.8.2]$ sbin/yarn-daemon.sh stop resourcemanager
[victor@node1 hadoop-2.8.2]$ sbin/hadoop-daemon.sh stop datanode
[victor@node1 hadoop-2.8.2]$ sbin/hadoop-daemon.sh stop namenode

hadoop.tmp.dir
/opt/module/hadoop-2.8.2/data/tmp

[victor@node1 hadoop-2.8.2]$ rm -rf logs/

[victor@node1 tmp]$ rm -rf hadoop-victor/

[victor@node1 hadoop-2.8.2]$ hadoop namenode -format

[victor@node1 hadoop-2.8.2]$ sbin/hadoop-daemon.sh start namenode

[victor@node1 hadoop-2.8.2]$ sbin/hadoop-daemon.sh start datanode
[victor@node1 hadoop-2.8.2]$ sbin/yarn-daemon.sh start resourcemanager
[victor@node1 hadoop-2.8.2]$ sbin/yarn-daemon.sh start nodemanager
注：檢視/opt/module/hadoop-2.8.2/data/tmp 目錄下檔案

黑猴子的家 如何選擇Hadoop版本？

當前hadoop版本比較混亂，讓很多使用者不知所措。實際上，當前hadoop只有兩個版本 hadoop 1.0和hadoop 2.0，其中，hadoop 1.0由乙個分布式檔案系統hdfs和乙個離線計算框架mapreduce組成，而hadoop 2.0則包含乙個支援namenode橫向擴充套件的hd...

黑猴子的家 Hive 之 Hadoop壓縮配置

1 mr支援的壓縮編碼 壓縮格式 工具演算法 副檔名 是否可切分 default 無default deflate 否gzip gzip default gz否 bzip2 bzip2 bzip2 bz2 是lzo lzop lzo.lzo 否lz4 無lz4 lz4否無 否2 編碼 解碼器 為了支...

黑猴子的家 Hadoop Checkpoint機制

fsimage和edit log合併的過程如下圖所示 其實這個合併過程是乙個很耗i o與cpu的操作，並且在進行合併的過程中肯定也會有其他應用繼續訪問和修改hdfs檔案。所以，這個過程一般不是在單一的namenode節點上進行從。如果hdfs沒有做ha的話，checkpoint由secondname...