1、上傳檔案值hdfs
所有的節點都要關閉防火牆，centos7中關閉防火牆：systemctl stop firewalld.service
所有節點都要進入root。
大部分命令類似於linux，只是多加了-
建立/input資料夾：hdfs dfs -mkdir /input
上傳檔案：hadoop fs -put /home/hz/documents/清洗後的基站資料.txt /input
檢視檔案目錄：hdfs dfs -ls /input
檢視檔案資料：hadoop fs -cat /file
刪除檔案（夾）:hadoop fs -rm (-r) -skiptrash /name
二、hdfs
hdfs目錄為資料節點datanode中/root/hadoop/dfs/data/下面，這個目錄是在hdfs-site.xml中配置的：/root/hadoop/dfs/data/current/bp-1033725880-192.168.253.129-1608516465401/current/finalized/subdir0/subdir0/
hadoop執行jar包：
先進入jar所在的目錄
cd /home/hz/documentshadoop jar hadoop_sort.jar com.hadoop.sort.my_hadoopsort /input /outfile/input是輸入資料的路徑（在hdfs上），
/outfile輸入資料的路徑(在hdfs上)，必須沒有outfile這個資料夾存在，否則會報錯
雖然進行分割槽後能夠保證相同orderid的資料進入到同乙個reducetask裡面去，但是不能保證乙個reducetask裡只有一種orderid的資料，有可能有不同orderid的資料。
hadoop基本命令
在這篇文章中，我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...
hadoop基本命令
在這篇文章中，我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...
Hadoop基本命令
1，hadoop fs fs local 宣告hadoop使用的檔案系統，如果不宣告的話，使用當前配置檔案配置的，按如下順序查詢 hadoop jar裡的hadoop default.xml had oopc onfd ir下的 hado op d efau lt.x ml hadoop conf ...