1.安裝虛擬機器(vmware8.0)
2.在虛擬機器中安裝centos 作業系統(centos7) 3臺以上
3.安裝ssh(在windows平台遠端管理linux系統的工具)bvsshclient-inst
4.配送ssh免密登入
5.hadoop安裝
常用命令
5. hdfs 安裝 (
常用命令
6.安裝mysql (
安裝後可能因為檔案mysql.sock無法找到不能啟動,設定啟動連線位址指向mysql.sock的目錄 (
設定mysql後台執行 (
mysql連線密碼修改
timestamp with implicit default value is deprecated 錯誤 (
7.hive 安裝
7.安裝sqoop
下面是linux系統約定不同型別檔案預設的顏色:
大資料平台搭建 kafka集群的搭建
本系列文章主要闡述大資料計算平台相關框架的搭建,包括如下內容 kafka是乙個分布式 分割槽的 多副本的 多訂閱者的訊息佇列,以高吞吐量著稱,主要用於實時資料的傳輸和處理,總體架構如下 本文環境列表 直接在伺服器10.20.112.59上解壓 cd tar zxvf kafka 2.11 0.10....
Ambari 大資料平台的搭建利器
ambari 是什麼 ambari 跟 hadoop 等開源軟體一樣,也是 apache software foundation 中的乙個專案,並且是頂級專案。目前最新的發布版本是 2.0.1,未來不久將發布 2.1 版本。就 ambari 的作用來說,就是建立 管理 監視 hadoop 的集群,但...
環境搭建 k 大資料平台起源
因時代背景,產生新問題 關鍵技術 以什麼方式解決產生的問題 基於以上考慮,hadoop工具應運而生 hadoop 簡介 各版本的hadoop平台 人產生資料的速度越來越快,機器更快,所以需要另外的一種處理資料的方法。硬碟的容量增加了,但效能沒有跟上,解決辦法是把資料分到多塊硬碟,然後同時讀取。計算隨...