大資料元件的安裝 部署 搭建及學習路徑

2022-09-06 09:39:10 字數 1280 閱讀 8354

簡介

zookeeper - 分布式協調服務,負責為其它平台提供高可用(ha)的管理服務

hadoop - 大資料檔案系統+平行計算,包含hdfs、map-reduce、yarn

hbase - 基於hadoop的列資料庫

flume - 訊息佇列,多數使用其作為接收端

kafka - 訊息佇列,多數使用其作為消費端

storm - 流式計算框架

ambari - 管理大資料元件的web平台

solr - 基於lucene的分布式搜尋引擎系統,常用作hbase的二級索引。

執行環境前置準備

1.zookeeper

安裝/部署/搭建:

工作原理/機制:

2.hadoop

安裝/部署/搭建:

工作原理/機制:

3.hbase

安裝/部署/搭建:

工作原理/機制:

4.flume

安裝/部署/搭建:

工作原理/機制:

5.kafka

安裝/部署/搭建:

工作原理/機制:

6.flume+kafka整合使用

7.storm

安裝/部署/搭建:

工作原理/機制:

8.flume+kafka+storm+hbase整合使用

9.ambari

10.solr

(1) 單機版

(2) 集群版(使用內建jetty)

(3) 集群版(使用tomcat)

1.如果只有1臺伺服器(或台式電腦)

有2個選擇(僅用於學習)

(1) 安裝hdp sandbox

(2) 用docker安裝

列印日誌的時區問題

1.大部分元件的學習路徑

* 也就是說,先安裝/部署跑通元件,然後邊學習原理邊調整引數觀察效果,用理論和實踐相互印證

2.高階使用

在實際預發布環境進行壓測和穩定性測試,邊測邊調整配置引數和**中的引數。

大資料學習 Storm集群搭建

安裝storm之前要安裝zookeeper 一.安裝storm步驟 2.解壓安裝包 3.修改配置檔案 修改環境變數 etc profile export path bin path 指定storm使用的zk集群 storm.zookeeper.servers mini1 mini2 mini3 指定...

IView元件化之部署及按鈕學習

iview 是一套基於 vue.js 的開源 ui 元件庫,主要服務於 pc 介面的中後台產品。顏色 通過設定type為primary dashed text info success warning error建立不同樣式的按鈕,不設定為預設樣式。注意 非 template render 模式下,...

大資料環境搭建之安裝zookeeper

安裝zookeeper之前 一定要安裝好jdk 不會安裝jdk的兄弟們可以進鏈結 安裝jdk1.8 解壓包tar zxvf zookeeper 刪除這兩個資料夾 進入 conf目錄 修改zoo sample.cfg 名字 配置好這兩個後儲存 esc wq 建立 zkdata 建立myid 新增值為1...