前言
以前部署
hadoop集群,
一直使用
cloudera
提供的tarball
部署安裝
,今天嘗試使用
cm在新機器部署
hadoop,
因為使用它使用起來簡單方便
,並且提供了一系列的監控功能
.但由於
cm的安裝是要聯網的,而且
cloudera
還在中國沒有源
,所以安裝過程非常的慢
,而且失敗率很高
(網路不好的同學相信很有體會
).所以自己摸索著搭建乙個本地源,用於
cm的安裝
.記錄如下
品牌機pc6臺,4
核/11g
記憶體/400g
硬碟,centos6.4.
一台能聯網的
pc,作用:,
搭建源環境.機器
host如下,
其中232
用作源伺服器
,不作為集群機使用.由於
233機器出了問題
,所以只能裝6臺
準備
:1.cm的安裝必須使用root帳戶,並且要關閉selinux和防火牆
關閉selinux
的方法：
修改/etc/selinux/config
檔案中的
selinux=""
為disabled
，然後重啟。
關閉防火牆:
/sbin/
service iptables stop
cloudera manager server 依賴的包 postgresql-server,postgresql,postgresql-libs
每個agent依賴的包fuse-libs,fuse,redhat-lsb
這些依賴必須先裝上.可使用rpm -qa 包名 檢視是否已安裝.
2.
1.cm
的bin檔案,
2.cloudera-manager
依賴的rpm檔案
不同的作業系統對應不同
rpm檔案
,centos6
建議使用
linux
的wget,.
wget -r --no-parent
-r, --no-parent
3.hadoop集群所需要的rpm包
cm4整個安裝過程,依賴
4個元件
,分別是
manager,cdh4,impala
和solr,
所以需要把這
4個元件所依賴的
rpm,
不同的作業系統對應不同
rpm檔案,.
cdh4
: impala
: solr
: (manager
相關rpm
)建議以上檔案都使用
wget(…)
:/data1/cdh
目錄下,
對應先建立
4個資料夾
cdh4,impala,manager
和solr
manager,
先進入manager目錄
cd manager
wget -r --no-parent
的目錄結構如下
4.部署http服務.
在232
機器上安裝
http服務
如不能使用
yum,
可使用安裝包安裝
)安裝完成後啟動
httpd服務
在瀏覽器訪問
可看到帶有
apache
圖示的頁面則安裝成功 在
/var/www/html
目錄上建立軟連線
,rpm
包目錄.
這樣源伺服器就搭建好了
.
開始安裝
:環境已經搭建完成
.可以開始安裝
選擇集群中其中一台機器安裝
manager server.
我選擇了
235執行
bin檔案安裝
一路next,
所有元件都是幾秒內安裝完成
至此,manager
服務已經安裝成功
.瀏覽器訪問
,開啟登入頁面
,使用者名稱密碼都是
一路安裝至完成.^^
手動安裝Cloudera Manager
手動安裝前需要先開啟httpd服務 執行 usr sbin apachectl start，開啟後可以通過url訪問 var www html下的目錄。3 開啟httpd服務 usr sbin apachectl start，開啟後可以通過網路訪問 var www html 目錄下的資源，如 4 配...
如何重啟Cloudera Manager？
為什麼重啟 突然發現clouderamanager的webui訪問不了了 我使用netstat看了一下我的webui監聽埠，發現尼瑪n多close wait，網上查了一下是socket關閉有問題導致n多掛起鏈結。原因並如何解決 重啟指令碼 opt cloudera manager etc init....
Cloudera Manager5安裝問題記錄
在安裝cm5 時總是提示下面這個錯誤，後來查了半天以為是yum工具的錯誤。loaded plugins fastestmirror,security loading mirror speeds from cached hostfile errno 14 pycurl error 7 failed t...