CDH部署 全網最簡單CDH6 2 0環境部署

主機規劃

sparkproject1 manager 8g 50gb

sparkproject2 agent 4g 50gb

sparkproject3 agent 4g 50gb

可參考hadoop中linux基本配置那篇文章

【hadoop部署】hadoop環境部署1-linux基礎設定

systemctl stop firewalld 關閉防火牆

systemctl disable firewalld 禁止防火牆開機自啟

vim /etc/selinux/config —> selinux=disabled

刪除mysql舊的依賴

rpm -qa|grep mariadb

yum remove mariadb

安裝mysql

rpm -ivh mysql-community-common-5.7.26-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.26-1.el7.x86_64.rpm

mysqld --initialize --user=root

cat /var/log/mysqld.log | tail -n5

末尾有密碼：abcija+g1aj?

修改mysql配置檔案

vim /etc/my.cnf

在 [mysqld] 標籤下新增

init_connect='set collation_connection = utf8_unicode_ci'

init_connect='set names utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake

systemctl start mysqld.service

systemctl enable mysqld.service

進入cli環境，修改root預設密碼。建立必要的表，更新遠端訪問許可權

mysql -uroot -p

修改使用者密碼

alter user user() identified by 'xiangyang';

create database cmserver default charset utf8 collate utf8_general_ci;

create database metadata default charset utf8 collate utf8_general_ci;
create database oozie default charset utf8 collate utf8_general_ci;
create database hue default charset utf8 collate utf8_general_ci;

update user set host='%' where host='localhost';

flush privileges;

以下是模擬cloudera的倉庫環境，本地安裝cdh

安裝apache伺服器

cm檔案考過來

parcel拷過來

註冊資料庫

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmserver root xiangyang

大概要幾分鐘。可以觀察/var/log/cloudera_server中的日誌，看有沒有報錯

service cloudera-scm-server start

成功的話關機轉殖，更新一些必要資訊

ifconfig ens33 192.168.71.111

vim /etc/sysconfig/network-scripts/ifcfg-ens33

vim /etc/hostname

hostnamectl set-hostname sparkproject2

子節點可以刪的元件

如果發現沒有許可權操作hdfs的情況，使用如下命令

sudo -u hdfs hadoop fs -setrep -r 2 /

streamsets的安裝

拷貝streamsets-3.13.0.jar 到 /opt/cloudera/csd

mkdir -p /var/www/html/streamsets

streamsets檔案拷過來

gpgcheck = false擴充套件磁碟

sync; echo 3 > /proc/sys/vm/drop_caches ; free -h

CDH部署搭建

鏈結 部署環境準備 4 安裝cloudera manager server 5 建立系統使用者 6 配置cm agent 7 配置資料庫 8 在server節點建立parcel repo目錄,賦權 9 在所有agent節點建立parcels目錄,賦權 10 製作cdh本地源 將這兩個檔案放到serv...

CDH部署 環境準備

hostnamectl set hostname cm server 更改個主機名 sed i s selinux enforcing selinux disable g etc selinux config setenforce 0 cat etc hosts 172.16.1.100 cm se...

CDH異構系統部署 1

工作中大資料集群可能會使用各種型號伺服器安裝不同的作業系統，今天介紹下cloudera manager管理的cdh集群在不同作業系統的伺服器上安裝公升級 系統版本 centos6.5,centos7.4 cm 5.11.0,5.14.4 el6 el7版本 cdh版本 5.11.1,5.14.4 e...