一、安裝前一定要安裝ssh
二、修改配置檔案
修改的檔案都在/hadooplearn/hadoop-2.7.1/etc/hadoop下:
core-site.xml、hdfs-site.xml、yarn-site.xml.三個檔案
配置檔案的新增和修改都在
中1、core-site.xml
fs.defaultfs
hdfs:
新增hdfs的指定url路徑,由於是偽分布模式,所以配置的本機ip,可為真實ip、localhost。
2、hdfs-site.xml
dfs.namenode.name.dir
file:/hadooplearn/hadoop-2.7.1/dfs/name
dfs.datanode.data.dir
file:/hadooplearn/hadoop-2.7.1/dfs/data
主要是對namenode和datanode儲存路徑的設定。其實預設是儲存在file://$/dfs/name和data 下的。所以這裡也不需要配置的。但預設的是臨時檔案,重啟就沒有了,所以這裡還是設定了專門的路徑儲存。
3、yarn-site.xml
mapreduce.framework.name
yarn
三、啟動
啟動的檔案都是sbin下,bin下的都是命令。如果為了方便可以把這兩個目錄新增到環境變數中去,這樣可以直接執行命令,而不是執行絕對路徑。
切換到安裝目錄下
首先格式化namenode
bin/hdfs namenode -format
啟動namenode和datanode
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
執行測試
jps出現:
8431 jps
8353 datanode
8271 namenode
證明啟動成功,如果沒有出現datanode或者namenode,證明啟動沒有成功,可以檢視hadoop安裝目錄下的logs下的日誌記錄。
可以使用sbin/hadoop-daemon.sh stop datanode(datanode)來關閉。
啟動manage管理
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
執行測試
jps出現:
8353 datanode
8271 namenode
8676 jps
8462 resourcemanager
8178 nodemanager
證明啟動成功,同時也可以使用yarn-daemon.sh stop resourcemanager(nodemanager)來關閉。
如果沒有單獨配置yarn
-site.xml
就可以訪問hadoop管理頁面
如果沒有單獨配置 hdfs-site.xml中的dfs.namenode.http-address,預設埠50070
就可以訪問namenode節點資訊。
四、執行例項
切換到安裝目錄,建立要上傳到hadoop的兩個檔案test1.txt、test2.txt
把input目錄中的檔案拷貝到hdfs上,並儲存在in目錄中
bin/hadoop dfs -put input/ /in
其中/in中的/是hdfs下的目錄,好像不加/不能上傳。 參考
bin/hadoop dfs -ls /in
就可以檢視in資料夾下的兩個檔案,同時也可以通過
檢視節點下的檔案。
Hadoop2偽分布式安裝部署
hadoop的執行有三種模式 區域性 偽分布式 分布式。區域性模式所有程式都執行在乙個jvm中,適合開發環境,用來執行或除錯mapreduce程式。偽分布模式多個守護程序同時單獨執行,但都執行在乙個機器。分布式模式守護程序執行於集群。對了解學習hadoop而言,偽分布式是合適的選擇,因為hadoop...
Hadoop分布式安裝hadoop2
將hadoop安裝至 usr local 中 cd downloads sudo tar zxvf hadoop 2.7.1.tar.gz c usr local 解壓到 usr local中 cd usr local sudo mv hadoop 2.7.1 hadoop 將資料夾名改為hadoo...
win7使用偽分布模式配置Hadoop2 2
根據網路上的教程是需要對hadoop的原始碼在window環境下編譯才能使用。參考教程 2 安裝官方提供的辦法配置hadoop2.2,最後啟動是用.cmd控制台命令啟動的。當時嘗試用cygwin啟動總是失敗,改用.cmd則順利通過 啟動指令碼在此目錄下 c hadoop hadoop 2.2.0 s...