（1）在getting started下找到：download
二、配置hadoop
(1) 配置環境變數，在path中新增路徑$\bin,例如:」d:\hadoop\bin」;
(2) 配置hadoop檔案 ,路徑：d:\hadoop\etc\hadoop
core-site.xml:
fs.defaultfsname>
hdfs://localhost:9000value>
property>
configuration>
dfs.replicationname>
1value>
property>
dfs.namenode.name.dirname>
file:/hadoop/data/dfs/namenodevalue>
property>
dfs.datanode.data.dirname>
file:/hadoop/data/dfs/datanodevalue>
property>
configuration>
mapreduce.framework.namename>
yarnvalue>
property>
configuration>
yarn.nodemanager.aux-servicesname>
mapreduce_shufflevalue>
property>
yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
org.apache.hadoop.mapred.shufflehandlervalue>
property>
configuration>
進入到bin目錄，執行hdfs namenode -format
進入sbin目錄：start-all.cmd
進入：http://localhost:8088
安裝成功
(4)測試
進入cmd，通hadoop fs -mkdir 命令建立資料夾，並檢視
可以看到 /user/data 已經存在。
四、hadoop常用命令
1)ls 顯示目錄下的所有檔案或者資料夾
hdfs dfs –ls [檔案目錄]
2)cat 檢視檔案內容
hdfs dfs –cat [file_path]
eg:hdfs dfs -cat /user/wangkai.pt/data.txt
3)mkdir 建立目錄
使用方法：hadoop fs -mkdir [uri形式目錄]
示例: hadoop fs –mkdir /test
建立多級目錄 加上 –p
示例: hadoop fs –mkdir -p /a/b/c
4)rm 刪除目錄或者檔案
使用方法:hadoop fs -rm [檔案路徑] 刪除資料夾加上 -r
示例: hadoop fs -rm /test1.txt
刪除資料夾加上 -r
示例:hadoop fs -rm -r /test
5)put 複製檔案
將檔案複製到hdfs系統中，也可以是從標準輸入中讀取檔案，此時的dst是乙個檔案
使用方法: hadoop fs -put
示例：
hadoop fs -put /usr/wisedu /temp/test1.txt /
6) cp 複製系統內檔案
hadoop fs –cp
拷貝檔案到目標位置，當src為多個檔案時，dst必須是個目錄。
7) copyfromlocal 複製本地檔案到hdfs
使用方法：hadoop fs-copyfromlocal uri
除了限定源路徑是乙個本地檔案外，和put命令相似
8) get 複製檔案到本地系統
使用方法：hadoop fs -get
示例：hadoop fs -get/word /usr/wisedu/temp/word.txt
9)copytolocal 複製 檔案到本地系統
使用方法：hadoop fs-copytolocal [-ignorecrc] [-crc] uri
除了限定目標路徑是乙個本地檔案外，和get命令類似。
示例：hadoop fs - copytolocal/word /usr/wisedu/temp/word.txt
10) mv
將檔案從源路徑移動到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是乙個目錄。不允許在不同的檔案系統間移動檔案。
使用方法：hadoop fs -mv uri [uri …]
示例：hadoop fs -mv /in/test2.txt /test2.txt
11) du 顯示檔案大小
顯示目錄中所有檔案的大小。
使用方法：hadoop fs -du uri [uri …]
示例: hadoop fs -du /
顯示當前目錄或者資料夾的大小可加選項 -s
示例: hadoop fs -du -s /
12) touchz 建立空檔案
使用方法：hadoop fs -touchz uri [uri …]
建立乙個0位元組的空檔案
示例:hadoop fs -touchz /empty.txt
13)chmod 改變檔案許可權
使用方法：hadoop fs -chmod[-r]
Hadoop學習筆記之Hadoop簡介
apache hadoop 是乙個開源的 可靠的 靈活的 分布式的計算系統 來自官網 主要受google 三篇 的啟發 gfs mapreduce bigtable hadoop 海量資料的儲存 hdfs hadoop distributed file system 海量資料的分析 mapreduc...
hadoop學習筆記之zookeeper 安裝配置
zookeeper是乙個分布式的，開放原始碼的分布式應用程式協調服務，是google的chubby乙個開源的實現，是hadoop和hbase的重要元件。它是乙個為分布式應用提供一致性服務的軟體，提供的功能包括 配置維護 網域名稱服務 分布式同步 組服務等。由於工程師不能很好地使用鎖機制以及基於訊息協...
Hadoop學習筆記之YARN
yarn service框架提供了一流的支援和api，可以在yarn中本地化時間執行的服務。簡而言之 in a nutshell 它作為乙個容器編排平台，用於管理yarn上的貨櫃化服務。它支援yarn中的docker容器和傳統的基於程序的容器。該框架的職責包括執行配置解決方案和安裝，生命週期管理 如...