1.hdfs
預設將檔案塊複製成三份存放
（對於hdfs來說，丟失乙個datanode意味著丟失了儲存在它的硬碟上的資料塊的副本。假如在任意時間總有超過乙個副本存在(預設3個)，故障將不會導致資料丟失。當乙個硬碟故障時，hdfs會檢測到儲存在該硬碟的資料塊的副本數量低於要求，然後主動建立需要的副本，以達到滿副本數狀態。）
2.有實時計算能力的元件
storm
flink
spark streaming
3.hadoop主要組成部分包括：
(1) hdfs
(2) mapreduce
(3) yarn
4.常見的olap多維資料分析包括
上鑽、下鑽、切片和旋轉
Hadoop筆試 面試題
該試題來自董成西彙總 1 mapreduce中排序發生在哪幾個階段？這些排序是否可以避免，為什麼？答 乙個mapreduce作業由map階段和reduce階段兩部分組成，這兩階段會對資料排序，從這個意義上說，mapreduce框架本質就是乙個distributed sort。在map階段，在map階...
思特奇筆試 hadoop的優點
hadoop是乙個能夠讓使用者輕鬆架構和使用的分布式計算平台。使用者可以輕鬆地在hadoop上開發和執行處理海量資料的應用程式。它主要有以下幾個優點 高可靠性。hadoop按位儲存和處理資料的能力值得人們信賴。高擴充套件性。hadoop是在可用的計算機集簇間分配資料並完成計算任務的，這些集簇可以方便...
演算法程式設計題積累（2） 京東筆試「求概率」問題
首先關於這道題，暴力求解肯定是不可取的。核心思路是利用動態規劃 dp 建立概率表來解決。我們注意到問題的關鍵是如何求得前 i 道題有 j 道題答對的概率。用f i 表示第 i 道題答對的概率。用dp i j 來表示前 i 道題有 j 道題答對的概率，因而根據第 i 道題是否答對可以有遞推公式 dp ...