1、
要使用 hdfs，首先需要在 hdfs 中建立使用者目錄，也可以使用預設根目錄：
zhaojunyandemacbook-pro:~ zhaojunyan$ hdfs dfs -mkdir -p /usr/hadoop
預設根目錄是
hdfs://localhost:9000/user/zhaojunyan
2、建立input目錄，並拷貝檔案
zhaojunyandemacbook-pro:~ zhaojunyan$ hdfs dfs -mkdir input
zhaojunyandemacbook-pro:~ zhaojunyan$ hdfs dfs -put /myfile/04.bigdata/hadoop-2.7.0/input/*.txt input
3、檢視拷貝的檔案
zhaojunyandemacbook-pro:~ zhaojunyan$ hdfs dfs -ls input
found 2 items
-rw-r--r-- 1 zhaojunyan supergroup 12 2017-05-21 22:35 input/test1.txt
-rw-r--r-- 1 zhaojunyan supergroup 13 2017-05-21 22:35 input/test2.txt
4、查檔案中的內容
zhaojunyandemacbook-pro:~ zhaojunyan$ hdfs dfs -cat input/test1.txt
hello world
zhaojunyandemacbook-pro:~ zhaojunyan$ hdfs dfs -cat input/test2.txt
hello hadoop
5、執行zhaojunyandemacbook-pro:~ zhaojunyan$ hadoop jar /myfile/04.bigdata/hadoop-2.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar wordcount input output
6、檢視結果
zhaojunyandemacbook-pro:~ zhaojunyan$ hdfs dfs -cat output/*
hadoop 1
hello 2
world 1
zhaojunyandemacbook-pro:~ zhaojunyan$
hadoop執行自帶例項wordcount
作業系統 ubuntu hadoop版本 3.1.3 cd usr local hadoop bin hdfs namenode format 格式化namenode sbin start dfs.shbin hdfs dfs mkdir input 新建input資料夾 bin hdfs dfs ...
Hadoop使用例項
1.詞頻統計 1.2編寫map與reduce函式 1.3本地測試map與reduce 1.4將文字資料上傳至hdfs上 1.5用hadoop streaming提交任務 1.6檢視執行結果 1.7計算結果取回到本地 加分2.氣象資料分析 如 求每日最高溫度 2.2解壓資料集，並儲存在本地文字檔案中 ...
Hadoop使用例項
1.詞頻統計 1.2編寫map與reduce函式 1.3本地測試map與reduce 1.4將文字資料上傳至hdfs上 1.5用hadoop streaming提交任務 1.6檢視執行結果 1.7計算結果取回到本地 2.氣象資料分析 如 求每日最高溫度 2.2解壓資料集，並儲存在本地文字檔案中 2....