Hadoop2安裝 偽分布模式

2021-07-09 11:12:24 字數 1985 閱讀 2242

一、安裝前一定要安裝ssh

二、修改配置檔案

修改的檔案都在/hadooplearn/hadoop-2.7.1/etc/hadoop下:

core-site.xml、hdfs-site.xml、yarn-site.xml.三個檔案

配置檔案的新增和修改都在

中1、core-site.xml

fs.defaultfs

hdfs:

新增hdfs的指定url路徑,由於是偽分布模式,所以配置的本機ip,可為真實ip、localhost。

2、hdfs-site.xml

dfs.namenode.name.dir

file:/hadooplearn/hadoop-2.7.1/dfs/name

dfs.datanode.data.dir

file:/hadooplearn/hadoop-2.7.1/dfs/data

主要是對namenode和datanode儲存路徑的設定。其實預設是儲存在file://$/dfs/name和data 下的。所以這裡也不需要配置的。但預設的是臨時檔案,重啟就沒有了,所以這裡還是設定了專門的路徑儲存。

3、yarn-site.xml

mapreduce.framework.name

yarn

三、啟動

啟動的檔案都是sbin下,bin下的都是命令。如果為了方便可以把這兩個目錄新增到環境變數中去,這樣可以直接執行命令,而不是執行絕對路徑。

切換到安裝目錄下

首先格式化namenode

bin/hdfs namenode -format

啟動namenode和datanode

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

執行測試

jps出現:

8431 jps

8353 datanode

8271 namenode

證明啟動成功,如果沒有出現datanode或者namenode,證明啟動沒有成功,可以檢視hadoop安裝目錄下的logs下的日誌記錄。

可以使用sbin/hadoop-daemon.sh stop datanode(datanode)來關閉。

啟動manage管理

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

執行測試

jps出現:

8353 datanode

8271 namenode

8676 jps

8462 resourcemanager

8178 nodemanager

證明啟動成功,同時也可以使用yarn-daemon.sh stop resourcemanager(nodemanager)來關閉。

如果沒有單獨配置yarn

-site.xml

就可以訪問hadoop管理頁面

如果沒有單獨配置 hdfs-site.xml中的dfs.namenode.http-address,預設埠50070

就可以訪問namenode節點資訊。

四、執行例項

切換到安裝目錄,建立要上傳到hadoop的兩個檔案test1.txt、test2.txt

把input目錄中的檔案拷貝到hdfs上,並儲存在in目錄中

bin/hadoop dfs -put input/ /in

其中/in中的/是hdfs下的目錄,好像不加/不能上傳。 參考

bin/hadoop dfs -ls /in

就可以檢視in資料夾下的兩個檔案,同時也可以通過

檢視節點下的檔案。

Hadoop2偽分布式安裝部署

hadoop的執行有三種模式 區域性 偽分布式 分布式。區域性模式所有程式都執行在乙個jvm中,適合開發環境,用來執行或除錯mapreduce程式。偽分布模式多個守護程序同時單獨執行,但都執行在乙個機器。分布式模式守護程序執行於集群。對了解學習hadoop而言,偽分布式是合適的選擇,因為hadoop...

Hadoop分布式安裝hadoop2

將hadoop安裝至 usr local 中 cd downloads sudo tar zxvf hadoop 2.7.1.tar.gz c usr local 解壓到 usr local中 cd usr local sudo mv hadoop 2.7.1 hadoop 將資料夾名改為hadoo...

win7使用偽分布模式配置Hadoop2 2

根據網路上的教程是需要對hadoop的原始碼在window環境下編譯才能使用。參考教程 2 安裝官方提供的辦法配置hadoop2.2,最後啟動是用.cmd控制台命令啟動的。當時嘗試用cygwin啟動總是失敗,改用.cmd則順利通過 啟動指令碼在此目錄下 c hadoop hadoop 2.2.0 s...