**:
在這篇文章中,我們預設認為hadoop環境已經由運維人員配置好直接可以使用。
假設hadoop的安裝目錄hadoop_home為/home/admin/hadoop。
1. 進入hadoop_home目錄。
2. 執行sh bin/start-all.sh
1. 進入hadoop_home目錄。
2. 執行sh bin/stop-all.sh
hadoop使用的是hdfs,能夠實現的功能和我們使用的磁碟系統類似。並且支援萬用字元,如*。
檢視hdfs中/user/admin/aaron目錄下的檔案。
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs -ls /user/admin/aaron
這樣,我們就找到了hdfs中/user/admin/aaron目錄下的檔案了。
我們也可以列出hdfs中/user/admin/aaron目錄下的所有檔案(包括子目錄下的檔案)。
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs -lsr /user/admin/aaron
檢視hdfs中/user/admin/aaron目錄下再新建乙個叫做newdir的新目錄。
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs -mkdir /user/admin/aaron/newdir
刪除hdfs中/user/admin/aaron目錄下乙個名叫needdelete的檔案
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs -rm /user/admin/aaron/needdelete
刪除hdfs中/user/admin/aaron目錄以及該目錄下的所有檔案
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs -rmr /user/admin/aaron
上傳乙個本機/home/admin/newfile的檔案到hdfs中/user/admin/aaron目錄下
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs –put /home/admin/newfile /user/admin/aaron/
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs –get /user/admin/aaron/newfile /home/admin/newfile
我們可以直接在hdfs中直接檢視檔案,功能與類是cat類似
檢視hdfs中/user/admin/aaron目錄下的newfile檔案
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop fs –cat /home/admin/newfile
原則上說,hadoop所有的mapreduce job都是乙個jar包。
執行乙個/home/admin/hadoop/job.jar的mapreduce job
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobmainclass] [jobargs]
假設job_id為:job_201005310937_0053
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop job -kill job_201005310937_0053
1. 進入hadoop_home目錄。
2. 執行sh bin/hadoop
usage: hadoop [--config confdir] command
where command is one of:
namenode -format format the dfs filesystem
secondarynamenode run the dfs secondary namenode
namenode run the dfs namenode
datanode run a dfs datanode
dfsadmin run a dfs admin client
fsck run a dfs filesystem checking utility
fs run a generic filesystem user client
balancer run a cluster balancing utility
jobtracker run the mapreduce job tracker node
pipes run a pipes job
tasktracker run a mapreduce task tracker node
job manipulate mapreduce jobs
queue get information regarding jobqueues
version print the version
jar run a jar file
distcp copy file or directories recursively
archive -archivename name * create a hadoop archive
daemonlog get/set the log level for each daemon
orclassname run the class named classname
most commands print help when invoked w/o parameters.
HADOOP基本操作命令
在這篇文章中,我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...
Hadoop操作HDFS命令
hadoop操作hdfs命令如下所示 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的...
Hadoop操作HDFS命令
hadoop操作hdfs命令如下所示 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的...