因時代背景，產生新問題
關鍵技術(以什麼方式解決產生的問題)
基於以上考慮，hadoop工具應運而生
hadoop 簡介
各版本的hadoop平台
人產生資料的速度越來越快，機器更快，所以需要另外的一種處理資料的方法。硬碟的容量增加了，但效能沒有跟上，解決辦法是把資料分到多塊硬碟，然後同時讀取。
計算隨資料走
序列io取代隨機io
說到底就是打廣告了：hadoop是一款工具，提供了
hadoop本質是乙個能夠對大量資料進行分布式處理的軟體框架。hadoop可執行於一般的商用伺服器上，具有高容錯、高可靠性、高擴充套件性等特點
特別適合寫一次，讀多次的場景
主流大資料平台：chdp、hdp、apache hadoop的區別與聯絡
參考鏈結
大資料平台搭建 簡單說
1.安裝虛擬機器 vmware8.0 2.在虛擬機器中安裝centos 作業系統 centos7 3臺以上 3.安裝ssh 在windows平台遠端管理linux系統的工具 bvsshclient inst 4.配送ssh免密登入 5.hadoop安裝 常用命令 5.hdfs 安裝 常用命令 6.安...
大資料平台搭建 kafka集群的搭建
本系列文章主要闡述大資料計算平台相關框架的搭建，包括如下內容 kafka是乙個分布式 分割槽的 多副本的 多訂閱者的訊息佇列,以高吞吐量著稱，主要用於實時資料的傳輸和處理，總體架構如下 本文環境列表 直接在伺服器10.20.112.59上解壓 cd tar zxvf kafka 2.11 0.10....
大資料測試環境搭建
hadoop集群搭建 整理的很好 具體到我用的版本 2.4.1 遇到的一些問題 1.jdk版本問題 2.環境變數配置問題 3.hadoop配置 core site.xml,hdfs site.xml等 4.資料夾許可權問題，非root使用者必須具有hadoop相關資料夾及其子資料夾的寫許可權 5.d...