Hadoop2 2 0的分布式HA搭建

2021-09-02 03:33:33 字數 822 閱讀 4705

近期將提供如下**安裝手冊,將以pdf格式放到附件中……

目錄1.簡介

2.所需軟體

3.集群安裝規劃

4.安裝環境準備

4.1.修改虛擬機器ip

4.2.修改主機名

4.3.修改主機名與ip的對映關係

4.4.關閉防火牆

4.5.設定防火牆開機不啟動

4.6.配置windows的ip與主機名的對映

4.7.確保windows和linux互通

4.8.配置三颱節點的ssh免密碼登入

4.9.上傳安裝包

5.安裝jdk

5.1.解壓jdk

5.2.配置jdk環境變數

6.安裝zookeeper

6.1.解壓zookeeper

6.2.配置zookeeper環境變數

6.3.修改zookeeper配置檔案

7.安裝hadoop2.2.0

7.1.解壓hadoop-2.2.0

7.2.配置hadoop2.2.0環境變數

7.3.配置hadoop2.2.0的ha集群

7.4.將/cloud/目錄拷貝到其他節點

8.啟動hadoop集群

8.1.啟動zookeeper集群

8.2.啟動journalnode

8.3.格式化hdfs

8.4.格式化zk

8.5.啟動hdfs

8.6.啟動yarn

8.7.驗證hdfs是否啟動成功

8.8.驗證hdfs是否可用

8.9.執行wordcount程式

9.驗證集群的ha(高可靠)

hadoop分布式安裝

工欲善其事,必先利其器。在資料橫行的時代,我們的大神hadoop 出來了,作為分布式處理資料 不但快,而且一般用配置不高的電腦業可以做集群。那麼,現在就開始安裝我們的hadoop 進入hadoop之旅 檔案,這裡就去 apache 的命令進行解壓 tar zxvf hadoop x.tar.gz 好...

hadoop分布式快取

概念 使用distributedcache方法 1.在main方法中載入共享檔案的hdfs路徑,路徑可以是目錄也可以是檔案。可以在路徑中末位追加 別名,在map階段可以使用該別名 string cache hdfs cache cache myfile myfile是別名job.addcachefi...

hadoop偽分布式

首先是本機模式的搭建,如 1 hdfs dfs ls 檢視本地分布式檔案系統,查詢結果為你本機linux檔案系統,說明你的本地模式已經搭建成功 2 進入安裝目錄hadoop資料夾下,進入etc hadoop下對四個配置檔案進行配置 core site.xml hdfs site.xml mapred...