頂層設計規劃1.宿主機環境準備
命令工具 iterm2
ftp工具 transmit
物理機 mac bookpro
虛擬機器 vmware fusion
虛擬機器系統 centos 7.4
大資料平台 hdp的ambari
2.集群機器準備
（1）物理機配置
處理器：intel® core™ i7 處理器
記憶體：16.00gb
系統型別：macos作業系統，基於 x64 的處理器
作業系統：macos15.4
（2）磁碟陣列
常用磁碟陣列型別：raid 0，raid 1，raid 10，raid 01
由於本系列是在虛擬機器上搭建大資料平台，因此本系列使用 raid 0，即不設定冗餘磁碟。
（3）虛擬機器配置
記憶體：主節點4g，從節點3g，2g
處理器：intel® core™ i7 單核處理器
硬碟：scsi 硬碟，20gb 容量
網路介面卡：nat
作業系統：centos release 7.4 (final)
3.集群節點規劃
節點名稱
nn1nn2
dnrm
nm規劃ip
other
hadoop01
namenode
datanode
nodemanager
192.168.221.201
hive/hdfs
hadoop02
secondarynamenode
datanode
resourcemanager
nodemanager
192.168.221.202
hbase/kms
hadoop03
datanode
nodemanager
192.168.221.202
mysql/spark
另外，單獨使用一台伺服器做ambari本地安裝ftp伺服器。這裡我使用的樹莓派做ambari的ftp安裝伺服器。
大資料平台CDH和HDP
cdh cloudera s distribution,including apache hadoop 是hadoop眾多分支中的一種，由cloudera維護，基於穩定版本的apache hadoop構建，並整合了很多補丁，可直接用於生產環境。cloudera manager則是為了便於在集群中進行...
大資料 Hadoop分布式部署虛擬機器
分布式部署 複製hadoop senior2重新命名為hadoop senior3 image.png 在vmware workstation中開啟hadoop senior3 image.png 命令 在虛擬機器中自動生成mac位址 修改自動生成的eth1 刪除eth0 image.png 命令 ...
Linux虛擬機器部署
虛擬機器 雲主機 不關機 個人推薦 ucloud雲 群檔案 若澤大資料 大資料環境部署之青云云主機 b站 需要花錢買 vm虛擬機器 自己電腦上 需要關 開 4g 買記憶體條 若澤大資料 大資料環境部署之vm虛擬機器 b站 自己配置 但是需要自己買記憶體條 雲伺服器是用來幹嘛的 1.vmware10 ...