hadoop安轉以及基本命令的使用

2021-07-26 05:22:38 字數 1377 閱讀 8325

一、hadoop-2.6.x的安裝

1、解壓hadoop:tar  -xzvf  hadoop-2.6.x.tar.gz

四個引數x : 從 tar 包中把檔案提取出來

z : 表示 tar 包是被 gzip 壓縮過的,所以解壓時需要用 gunzip 解壓

v : 顯示詳細資訊

f ***.tar.gz : 指定被處理的檔案是 ***.tar.gz

2、配置hadoop的環境變數,在/etc/environment

或者在/etc/profile

vi /etc/profile

export  hadoop_home=/usr/hadoop2.6.x

export  path=$hadoop_home/bin:$path

3、使用jps檢視程序是否啟動

4、使用start-dfs.sh啟動hdfs守護程序 datanode、secondarynamenode、namenode

5、使用start-yarn.sh來啟動nodemanager

二、hadoop基本命令的使用

1、安裝好hadoop系統之後,是無法通過圖形化介面的看得見的,因此要使用一下的命令進行基本操作

檢視hadoop系統的根目錄:hdfs dfs -ls /

檢視hadoop系統根目錄下的子目錄hdfs dfs -ls -r  /-r指的是遞迴檢視

hdfs系統中建立資料夾input :hdfs dfs -mkdir /usr/hadoop-2.6.x/input

把檔案上傳到hdfs系統:hdfs dfs -put   /《原始檔的路徑》  /usr/hadoop-2.6.x/input/

使用jar包統計單詞個數:hadoop jar   使用的jar檔案.jar   主函式    /usr/hadoop-2.6.x/input/檔案                (檔案路徑)  /usr/hadoop-2.6.x/output(存放結果的位置,輸出結果目錄必須不存在,否則報錯)

hadoop基本命令

在這篇文章中,我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...

hadoop基本命令

在這篇文章中,我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...

Hadoop基本命令

1,hadoop fs fs local 宣告hadoop使用的檔案系統,如果不宣告的話,使用當前配置檔案配置的,按如下順序查詢 hadoop jar裡的hadoop default.xml had oopc onfd ir下的 hado op d efau lt.x ml hadoop conf ...