每次換電腦的時候都要把hadoop的環境重新的搭建一遍，每次配置的時間不是很長，但是準備的時間浪費很多，都是一些常用的工具軟體還有對應的外掛程式，映象什麼的。所以這次在部落格上總結一下。算是一種複習，也算是為剛接觸hadoop的同學乙個方便的思路。下面我將分為幾部分來描述搭建hadoop2.x的所有的流程。這部分是環境的準備工作。（面向的是windows的使用者，採用虛擬機器的方式來搭建hadoop的環境，並遠端的配置。）
系統環境的確認，因為當前的電腦大多是64位作業系統的，而且我們用的vmware也是只支援64位系統的（當然vmware有破解的32位的系統，但是建議還是用64位的系統要好一些，因為後面虛擬機會開好多臺，32位系統做多的4g記憶體有點吃不消。）。
遠端的連線工具securecrt（用來遠端連線linux的遠端客戶端），因為我們需要模擬遠端的控制多台linux伺服器，所以需要乙個遠端鏈結工具，也可以用xshell.我上傳了乙個破解版的securecrt 這裡寫鏈結內容
配置hadoop的環境多半是配置xml檔案，當然可以直接在linux下手動的vim來編輯xml檔案中的標籤，但是這樣非常容易出錯，所以大多是把配置的選項記錄在本地的記事本中，然後用乙個遠端的軟體進行配置，只需要複製，貼上，就可以。notepad++這裡寫鏈結內容 壓縮包中的nppftp_0.26.3/bin/nppftp.dll使用來遠端連線linux的外掛程式，需要拷貝到notepad++安裝目錄的plugins目錄下。
上邊的這些步驟不是每一步都必須做的，有的是方便之後配置的工具，讀者根據自身的情況來選擇。不必完全的相同。
Hadoop 2 x 四層架構
一 儲存層 檔案系統hdfs，nosql hbase 二 資源及資料管理層 yarn以及sentry等 三 計算引擎 mapreduce impala spark等 四 基於mapreduce spark等計算引擎的高階封裝及工具 hive pig mahout等 sqoop sql to hado...
Hadoop2 X中的描述
1，hadoop 1.0中hdfs和mapreduce在高可用 擴充套件性等方面存在問題 2，hdfs存在的問題 namenode壓力過大，且記憶體受限，影響系統擴充套件 3，mapreduce存在的問題 jobtracker單點故障 jobtracker訪問壓力大，影響系統擴充套件性 難以支援除m...
hadoop2 x入門 Hadoop的啟動方式
本內容基於hadoop 2.7.2 1.hadoop啟動方式 我們執行hadoop安裝目錄下的sbin sh 各服務元件逐一啟動 hdfs hadoop daemon.sh start stop namenode datanode secondarynamenode yarn yarn daemon...