hadoop是乙個由apache**會所開發的分布式系統基礎架構。
使用者可以在不了解分布式底層細節的情況下，開發分布式程式。充分利用集群的威力進行高速運算和儲存。
[1] hadoop實現了乙個分布式檔案系統（hadoop distributed file system），簡稱hdfs。hdfs有高容錯性的特點，並且設計用來部署在低廉的（low-cost）硬體上；而且它提供高吞吐量（high throughput）來訪問應用程式的資料，適合那些有著超大資料集（large data set）的應用程式。hdfs放寬了（relax）posix的要求，可以以流的形式訪問（streaming access）檔案系統中的資料。
hadoop的框架最核心的設計就是：hdfs和mapreduce。hdfs為海量的資料提供了儲存，則mapreduce為海量的資料提供了計算。[2]
其實hadoop，就是兩個點 hdfs 和 yarn ,hdfs存資料， yarn來做資源排程（將集群機器的cpu和記憶體收納到一起，根據需求做分配）
所以配置檔案其實就是圍繞這兩個點的 配置啦。hadoop總共要修改5個配置檔案（4個最重要。1個是指定jdk等等路徑的哈哈）
2：開始搭建
安裝jdk 我就不說了，
接下來編輯 /etc/profile檔案 加入jdk環境變數（當然，這些我全是salt自動化。就一句命令全部自動搞定，後續會講。機器多的時候會很有作用。）
vim /etc/profile 加到最後儲存之後 source一下。這些搞不定就。。。自己想辦法。
② 安裝zookeeper
也是類似jdk的目錄。最終效果就是
注意：zookeeper配置檔案
server.x就是你每個zk集群的 ip和埠。2888為通訊埠，3888為zk自己選舉的埠（異常情況或初始化時候zk自己本身集群選舉leader 等使用。）
啟動zk zkserver.sh start 注意將zk加入環境變數並source 否則就絕對路徑啟動吧。
zkserver,sh status 可以檢視集群每個zk的角色，如果顯示 leader 或者flower就是對的了。
接下來就是搭建hadoop了。
③搭建hadoop（這裡注重一台機器上的，其他你咋麼分發到別的機器，後續會用自動化工具介紹，本篇注重配置檔案）
Redis集群生產環境原始碼安裝
安裝 redis集群 根據各人單位生產環境使用者搭建 一 安裝環境 作業系統 centos7.6 關閉防火牆 關閉selinux redis1 192.168.26.128 redis2 192.168.26.129 二 使用者環境 groupadd usr useradd g usr md usr...
mongo分片集群生產環境操作步驟
mongodb 支援通過分片技術從而進行水平擴充套件，用以支撐海量資料集和高吞吐量的操作。如果資料集不夠大，還是建議您使用 mongodb 副本集，因為分片需要處理更多的技術細節，所以在分片環境下其效能可能始終沒有副本集效能強。本文通過介紹如何搭建 mongodb 分片集群以及及一些相關核心概念，可...
搭建hadoop集群開發環境1
最近沒事學習一下hadoop，搭建乙個hadoop集群，由於之前接觸linux較少，就順帶著學學linux，這裡將遇到的問題記錄下來 我用的是ubuntu 14.10 desktop amd64，因為不了解，中間遇到各種問題，這裡重點寫一下遇到的問題，至於搭建hadoop具體步驟，可以檢視下面的鏈結...