一、hadoop-2.6.x的安裝
1、解壓hadoop:tar -xzvf hadoop-2.6.x.tar.gz
四個引數x : 從 tar 包中把檔案提取出來
z : 表示 tar 包是被 gzip 壓縮過的,所以解壓時需要用 gunzip 解壓
v : 顯示詳細資訊
f ***.tar.gz : 指定被處理的檔案是 ***.tar.gz
2、配置hadoop的環境變數,在/etc/environment下
或者在/etc/profile
vi /etc/profile
export hadoop_home=/usr/hadoop2.6.x
export path=$hadoop_home/bin:$path
3、使用jps檢視程序是否啟動
4、使用start-dfs.sh啟動hdfs守護程序 datanode、secondarynamenode、namenode
5、使用start-yarn.sh來啟動nodemanager
二、hadoop基本命令的使用
1、安裝好hadoop系統之後,是無法通過圖形化介面的看得見的,因此要使用一下的命令進行基本操作
檢視hadoop系統的根目錄:hdfs dfs -ls /
檢視hadoop系統根目錄下的子目錄hdfs dfs -ls -r /-r指的是遞迴檢視
hdfs系統中建立資料夾input :hdfs dfs -mkdir /usr/hadoop-2.6.x/input
把檔案上傳到hdfs系統:hdfs dfs -put /《原始檔的路徑》 /usr/hadoop-2.6.x/input/
使用jar包統計單詞個數:hadoop jar 使用的jar檔案.jar 主函式 /usr/hadoop-2.6.x/input/檔案 (檔案路徑) /usr/hadoop-2.6.x/output(存放結果的位置,輸出結果目錄必須不存在,否則報錯)
hadoop基本命令
在這篇文章中,我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...
hadoop基本命令
在這篇文章中,我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...
Hadoop基本命令
1,hadoop fs fs local 宣告hadoop使用的檔案系統,如果不宣告的話,使用當前配置檔案配置的,按如下順序查詢 hadoop jar裡的hadoop default.xml had oopc onfd ir下的 hado op d efau lt.x ml hadoop conf ...