hadoop基本操作命令
在這篇文章中,我們預設認為hadoop環境已經由運維人員配置好直接可以使用。
假設hadoop的安裝目錄hadoop_home為/home/admin/hadoop。
啟動與關閉
啟動hadoop
1. 進入hadoop_home目錄。
2. 執行sh bin/start-all.sh
關閉hadoop
1. 進入hadoop_home目錄。
2. 執行sh bin/stop-all.sh
檔案操作
hadoop使用的是hdfs,能夠實現的功能和我們使用的磁碟系統類似。並且支援萬用字元,如*。
檢視檔案列表
檢視hdfs中/user/admin/aaron目錄下的檔案。
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs -ls /user/admin/aaron
這樣,我們就找到了hdfs中/user/admin/aaron目錄下的檔案了。
我們也可以列出hdfs中/user/admin/aaron目錄下的所有檔案(包括子目錄下的檔案)。
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs -lsr /user/admin/aaron
建立檔案目錄
檢視hdfs中/user/admin/aaron目錄下再新建乙個叫做newdir的新目錄。
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs -mkdir /user/admin/aaron/newdir
刪除檔案
刪除檔案
刪除hdfs中/user/admin/aaron目錄下乙個名叫needdelete的檔案
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs -rm /user/admin/aaron/needdelete
刪除hdfs中/user/admin/aaron目錄以及該目錄下的所有檔案
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs -rmr /user/admin/aaron
上傳檔案
我們可以直接在hdfs中直接檢視檔案,功能與類是cat類似
檢視hdfs中/user/admin/aaron目錄下的newfile檔案
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs –cat /home/admin/newfile
mapreduce job操作
提交mapreduce job
原則上說,hadoop所有的mapreduce job都是乙個jar包。
執行乙個/home/admin/hadoop/job.jar的mapreduce job
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobmainclass] [jobargs]
殺死某個正在執行的job
假設job_id為:job_201005310937_0053
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop job -kill job_201005310937_0053
更多hadoop的命令
HADOOP基本操作命令
在這篇文章中,我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...
Hadoop基本操作命令
在這篇文章中,我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...
HADOOP基本操作命令
在這篇文章中,我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...